Что такое policy gradient и теорема policy gradient?

Policy Gradient — это класс методов в обучении с подкреплением, которые напрямую оптимизируют параметрическую стратегию (policy), используя градиентный спуск.

Вместо оценки функции ценности (value function), policy gradient методы обновляют параметры политики так, чтобы увеличить ожидаемое вознаграждение.

Теорема Policy Gradient формально выражает градиент ожидаемой награды по параметрам политики:

[ \nabla_\theta J(\theta) = \mathbb{E}{\pi\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) Q^{\pi_\theta}(s,a) \right] ]

где:

• (J(\theta)) — ожидаемое вознаграждение при политике с параметрами (\theta)
• (\pi_\theta(a|s)) — вероятность действия (a) в состоянии (s)
• (Q^{\pi_\theta}(s,a)) — функция ценности действия

Это выражение позволяет оценивать градиент с помощью выборок из среды и обновлять параметры политики в направлении увеличения награды.

Пример простого обновления параметров:

# pseudo-code
for each episode:
    collect trajectory using policy pi_theta
    for each (s, a, reward) in trajectory:
        grad = grad + grad_log_pi_theta(a|s) * reward
    theta = theta + learning_rate * grad

Policy gradient методы широко применяются для обучения сложных стратегий, особенно когда пространство действий непрерывно или политика должна быть стохастической.