Что выступает в роли весов в градиентном бустинге?

В градиентном бустинге роль весов выполняют градиенты — производные функции потерь по предсказаниям модели на текущем шаге. Эти градиенты показывают, насколько сильно нужно скорректировать предсказания для уменьшения ошибки.

На каждом шаге строится новая модель (обычно дерево), которая обучается предсказывать отрицательные градиенты (ошибки) предыдущей модели. Таким образом, веса — это ошибки, которые нужно исправить, и они направляют обучение следующей модели для улучшения итогового результата.

Пример: если функция потерь — MSE, то градиенты будут разницей между предсказанными и истинными значениями, и новая модель будет пытаться предсказать эту разницу.