Чем схожи и чем отличаются случайный лес и градиентный бустинг? Как строятся деревья в каждом из них?

Градиентный бустинг и случайный лес — это оба ансамблевые методы машинного обучения, основанные на деревьях решений, но они отличаются по принципу построения и объединения моделей.

Случайный лес (Random Forest):

• Строит множество независимых деревьев решений на случайных подвыборках данных и признаков.
• Каждое дерево обучается параллельно и независимо.
• Итоговый прогноз получается усреднением (для регрессии) или голосованием (для классификации) результатов всех деревьев.
• Основная идея — уменьшить переобучение за счёт случайности и усреднения.

Градиентный бустинг (Gradient Boosting):

• Строит деревья последовательно, каждое новое дерево пытается исправить ошибки предыдущих.
• Использует градиентный спуск для минимизации функции потерь, добавляя новые модели, которые аппроксимируют остатки.
• Итоговая модель — сумма всех деревьев с весами.
• Обычно даёт более высокую точность, но требует тщательной настройки и более чувствителен к переобучению.

Кратко: случайный лес — это ансамбль независимых деревьев, построенных на случайных подвыборках, а градиентный бустинг — последовательное обучение деревьев, где каждое исправляет ошибки предыдущих.