Как называется ситуация, когда метод внутри себя вызывает саму себя?

Ситуация, когда метод вызывает сам себя внутри своего тела, называется рекурсией.

Рекурсивный метод обычно имеет базовый случай, который останавливает дальнейшие вызовы, и рекурсивный случай, который вызывает метод снова с изменёнными параметрами.

Пример рекурсии на Java:

public int factorial(int n) {
    if (n <= 1) return 1; // базовый случай
    else return n * factorial(n - 1); // рекурсивный вызов
}

Здесь метод factorial вычисляет факториал числа, вызывая сам себя с уменьшенным аргументом.