Почему в градиентном бустинге используется градиент, а не просто разница между true и predicted?

Градиент задаёт направление уменьшения выбранной функции потерь. Разность true−predicted совпадает с отрицательным градиентом лишь для квадратичной ошибки с соответствующим масштабом.

Бустинг обучает новый learner приближать отрицательный градиент loss по текущему предсказанию. Для log-loss, абсолютной и других ошибок направление отличается от простого остатка; в некоторых реализациях дополнительно используют вторые производные. Поэтому градиент делает метод применимым к разным целям.