Как обучается градиентный бустинг?

Градиентный бустинг последовательно добавляет модели, обучая очередную приближать отрицательный градиент функции потерь текущего ансамбля.

Новая модель корректирует предыдущие ошибки с заданным шагом; для квадратичной ошибки это обучение на остатках.