Можете подробнее объяснить, как именно вычисляется антиградиент и как он используется для построения следующего дерева?

На шаге бустинга вычисляют отрицательную производную loss по текущему предсказанию для каждого объекта. Следующее дерево приближает эти значения, после чего его вклад добавляется с learning rate.

Формула: rᵢ = −∂L(yᵢ,F(xᵢ))/∂F(xᵢ), затем Fₘ(x) = Fₘ₋₁(x) + ηhₘ(x), с возможной отдельной оптимизацией листьев. Для половины квадрата ошибки rᵢ = yᵢ − F(xᵢ), то есть обычный остаток. Для других loss антиградиент отличается; second-order реализации используют также гессиан.