Можешь рассказать, как работает off-policy evaluation (например, IPS или Double Robust), которые ты упомянул?

IPS переоценивает награды старой политики весом π(a|x)/μ(a|x). Doubly Robust сочетает модель ожидаемой награды с IPS-поправкой к её ошибке на наблюдаемом действии.

Для контекста x DR использует Σₐπ(a|x)q̂(x,a)+π(a_obs|x)/μ(a_obs|x)·(r−q̂(x,a_obs)), затем усредняет. При стандартных предпосылках достаточно корректности одной из двух оценок — propensity или reward model. Нужны покрытие действий и корректное логирование; малые вероятности дают большую дисперсию.

Источник: arxiv.org.