Объясните, как работает метод градиентного бустинга на деревьях решений.

Градиентный бустинг последовательно добавляет деревья, приближающие отрицательный градиент loss текущего ансамбля. Их вклад умножается на learning rate и добавляется к предсказанию.

Для квадратичной ошибки направление совпадает с остатками, для других loss формула меняется. Глубина, шаг, число деревьев и регуляризация контролируют сложность. Качество и раннюю остановку проверяют на validation, сохраняя test для независимой оценки.