В классическом градиентном бустинге новый алгоритм учится на отрицательных градиентах функции потерь по текущим предсказаниям. Для квадратичной ошибки это остатки.
В градиентном бустинге уже построена композиция из N базовых алгоритмов. Что будет таргетом для нового, N+1-го алгоритма?
В классическом градиентном бустинге новый алгоритм учится на отрицательных градиентах функции потерь по текущим предсказаниям. Для квадратичной ошибки это остатки.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В классическом градиентном бустинге новый алгоритм учится на отрицательных градиентах функции потерь по текущим предсказаниям. Для квадратичной ошибки это остатки.
Для объекта i псевдоответ: r_i = -∂L(y_i, F(x_i))/∂F(x_i) при текущем ансамбле F_N. При L = (y−F)²/2 получаем y_i−F_N(x_i). Затем новое приближение добавляют с выбранным шагом и learning rate. Для других losses это не обязательно обычная разность; реализации второго порядка дополнительно используют гессианы.
Источник: scikit-learn.org.