Какая разница между level-wise и leaf-wise обучением деревьев?

Level-wise (по уровням) и leaf-wise (по листьям) — это два подхода к построению деревьев решений в бустинге.

Level-wise строит дерево, расширяя все узлы на одном уровне одновременно. Сначала разбиваются все корневые узлы, затем все узлы второго уровня и так далее. Такой подход обеспечивает сбалансированное дерево и более предсказуемое поведение, но может быть менее эффективен в снижении ошибки.

Leaf-wise выбирает для разбиения тот лист, который даст максимальное уменьшение ошибки (например, по критерию уменьшения потерь). Это приводит к более глубоким и несимметричным деревьям, которые могут лучше подстраиваться под данные и быстрее снижать ошибку, но при этом есть риск переобучения и увеличения времени обучения.

Пример: в LightGBM используется leaf-wise стратегия, что позволяет ему быть быстрее и точнее при работе с большими наборами данных, но требует контроля параметров регуляризации.