Что такое MCMC и какие методы (Metropolis-Hastings, Gibbs, HMC)?

MCMC (Markov Chain Monte Carlo) — это класс алгоритмов для генерации выборок из сложных распределений, особенно когда прямое вычисление невозможно. Он строит цепь Маркова, которая со временем сходится к целевому распределению.

Основные методы MCMC:

• Metropolis-Hastings: базовый алгоритм, который генерирует кандидатов для следующего состояния и принимает их с определенной вероятностью, обеспечивая сходимость к нужному распределению.
• Gibbs Sampling: частный случай Metropolis-Hastings, где каждый параметр обновляется поочередно из условного распределения при фиксированных остальных параметрах. Особенно эффективен, если условные распределения известны и просты.
• Hamiltonian Monte Carlo (HMC): использует градиенты логарифма целевого распределения и физическую интерпретацию динамики Гамильтона для более эффективного исследования пространства параметров, снижая случайные блуждания и ускоряя сходимость.

Эти методы широко применяются в байесовском выводе, Gaussian Processes и Bayesian Optimization для оценки сложных апостериорных распределений.