Какой bias и variance у различных типов моделей: линейные модели, деревья, ансамбли деревьев?

Bias (смещение) и variance (дисперсия) — ключевые характеристики моделей машинного обучения, отражающие их способность к обобщению.

• Линейные модели обычно имеют высокий bias и низкую variance. Они делают сильные предположения о форме зависимости (линейность), поэтому могут недообучаться на сложных данных, но при этом устойчивы к шуму.
• Деревья решений обладают низким bias и высокой variance. Они способны моделировать сложные зависимости (низкое смещение), но легко переобучаются на тренировочные данные, что приводит к высокой дисперсии.
• Ансамбли деревьев (например, Random Forest, Gradient Boosting) снижают variance за счет усреднения нескольких деревьев, сохраняя при этом низкий bias. Таким образом, ансамбли обычно достигают лучшего баланса между bias и variance, обеспечивая высокую точность и устойчивость.

Итог:

Это объясняет, почему ансамбли часто превосходят отдельные деревья и линейные модели по качеству предсказаний.