ELBO (Evidence Lower Bound) — это нижняя оценка логарифма маргинального правдоподобия данных в вариационном выводе. В задачах байесовского вывода, где точное вычисление апостериорного распределения невозможно, ELBO служит функцией цели для оптимизации приближенного распределения.
Что такое ELBO и почему его максимизируют?
ELBO (Evidence Lower Bound) — это нижняя оценка логарифма маргинального правдоподобия данных в вариационном выводе.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
ELBO (Evidence Lower Bound) — это нижняя оценка логарифма маргинального правдоподобия данных в вариационном выводе. В задачах байесовского вывода, где точное вычисление апостериорного распределения невозможно, ELBO служит функцией цели для оптимизации приближенного распределения.
Почему максимизируют ELBO:
- Максимизация ELBO эквивалентна минимизации KL-дивергенции между приближенным распределением и истинным апостериорным.
- Это позволяет найти наиболее близкое к истинному апостериорному распределению приближение.
- ELBO обеспечивает баланс между точностью приближения и сложностью модели.
В контексте Gaussian Processes (GP) и Bayesian Optimization (BO) максимизация ELBO помогает эффективно обучать модели и делать предсказания с учётом неопределённости, улучшая качество оптимизации и обобщения.