Что такое бэггинг и бустинг, чем они отличаются?

Бэггинг обучает модели на разных выборках и объединяет ответы, преимущественно снижая дисперсию. Бустинг последовательно добавляет модели, исправляющие ошибки ансамбля.

В бэггинге базовые модели часто обучают независимо на bootstrap-выборках. Их предсказания усредняют или объединяют голосованием; случайный лес дополнительно использует случайность при выборе признаков.

В градиентном бустинге новая модель приближает направление уменьшения функции потерь текущего ансамбля. Он чувствителен к настройкам сложности, темпа обучения и числу итераций. Оба подхода требуют корректной валидации: ни один не защищён от переобучения автоматически.