Почему в бустинге обычно используют неглубокие деревья и как число деревьев влияет на переобучение?

Неглубокие деревья дают контролируемые небольшие поправки и ограничивают сложность взаимодействий. Большее число деревьев продолжает уменьшать train loss, но может ухудшить обобщение.

Число итераций нужно рассматривать вместе с learning rate, глубиной и регуляризацией. Малый шаг обычно требует больше деревьев. Используйте validation и early stopping, а финальный test не расходуйте на настройку числа итераций.