В градиентном бустинге обучение происходит на остатках (градиентах ошибки), а не на самих выходах предыдущих моделей. Если пытаться обучать следующий базовый алгоритм просто на выходах предыдущих, то модель не будет корректно минимизировать ошибку, так как не учитывает направление и величину ошибки, а только итоговый прогноз.
Почему нельзя учиться просто на выходах в градиентном бустинге?
В градиентном бустинге обучение происходит на остатках (градиентах ошибки), а не на самих выходах предыдущих моделей.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В градиентном бустинге обучение происходит на остатках (градиентах ошибки), а не на самих выходах предыдущих моделей. Если пытаться обучать следующий базовый алгоритм просто на выходах предыдущих, то модель не будет корректно минимизировать ошибку, так как не учитывает направление и величину ошибки, а только итоговый прогноз.
Обучение на градиентах позволяет последовательно исправлять ошибки предыдущих моделей, что обеспечивает сходимость и улучшение качества. Если же обучаться просто на выходах, то модель может переобучиться или не достичь оптимума, так как не учитывает, насколько сильно и в каком направлении нужно корректировать предсказания.
Пример: в классическом градиентном бустинге следующий регрессор обучается на разнице между истинными значениями и текущими предсказаниями (остатках), а не на самих предсказаниях.