Бустинг — это метод ансамблирования, который строит сильную модель путем последовательного обучения серии слабых моделей (обычно деревьев решений). Каждая новая модель пытается исправить ошибки предыдущих, фокусируясь на тех объектах, которые были классифицированы неправильно.
Что такое градиентный бустинг и как он работает?
Бустинг — это метод ансамблирования, который строит сильную модель путем последовательного обучения серии слабых моделей (обычно деревьев решений).
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Бустинг — это метод ансамблирования, который строит сильную модель путем последовательного обучения серии слабых моделей (обычно деревьев решений). Каждая новая модель пытается исправить ошибки предыдущих, фокусируясь на тех объектах, которые были классифицированы неправильно.
Как работает бустинг:
- Инициализируется базовая модель, которая делает первые предсказания.
- Вычисляются ошибки (остатки) этой модели.
- Следующая модель обучается на этих ошибках, пытаясь их уменьшить.
- Процесс повторяется несколько раз, и итоговое предсказание получается как взвешенная сумма предсказаний всех моделей.
Пример упрощённого псевдокода бустинга:
# pseudo-code
model_0 = train_model(data)
residuals = target - model_0.predict(data)
model_1 = train_model(data, residuals)
residuals = residuals - model_1.predict(data)
...
final_prediction = model_0.predict(data) + model_1.predict(data) + ...
Таким образом, бустинг последовательно улучшает качество модели, уменьшая ошибку на каждом шаге.