В методе bagging (bootstrap aggregating) в качестве базовых моделей обычно берут слабые обучаемые алгоритмы, чаще всего — решающие деревья. Это связано с тем, что деревья хорошо подходят для построения ансамблей, так как они склонны к переобучению, а bagging помогает снизить дисперсию.
Какие модели берём в качестве базовых в bagging? Какая глубина у деревьев?
В методе bagging (bootstrap aggregating) в качестве базовых моделей обычно берут слабые обучаемые алгоритмы, чаще всего — решающие деревья.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В методе bagging (bootstrap aggregating) в качестве базовых моделей обычно берут слабые обучаемые алгоритмы, чаще всего — решающие деревья. Это связано с тем, что деревья хорошо подходят для построения ансамблей, так как они склонны к переобучению, а bagging помогает снизить дисперсию.
Что касается глубины деревьев, то в классическом bagging (например, в Random Forest) обычно используют неглубокие деревья с ограниченной глубиной, чтобы избежать переобучения, либо полностью развернутые деревья (без ограничения глубины) для максимальной вариативности. В Random Forest часто используют полностью развернутые деревья (без ограничения глубины), так как случайный отбор признаков и бутстрэп-выборка уже обеспечивают регуляризацию.
Итого:
- Базовые модели: решающие деревья
- Глубина деревьев: часто без ограничения (полностью развернутые), но может быть ограничена для контроля переобучения в зависимости от задачи и данных.