Почему в градиентном бустинге обычно используют слабые модели?

Слабые базовые модели позволяют постепенно исправлять ошибки и контролировать сложность ансамбля. Небольшие деревья дешевле обучать и сложнее сразу подогнать под шум.

Каждый шаг приближает отрицательный градиент функции потерь, а learning rate ограничивает величину обновления. Сильный learner не запрещён, но чаще требует осторожной регуляризации. Глубина зависит от нужных взаимодействий признаков, а число итераций подбирают по валидации.