В IPS речь о дисперсии оценки ожидаемой награды целевой политики на случайных логах. Её увеличивают большие веса, возникающие при малой вероятности наблюдённого действия у logging policy.
Дисперсия чего именно возникает в IPS-оценке?
В IPS речь о дисперсии оценки ожидаемой награды целевой политики на случайных логах. Её увеличивают большие веса, возникающие при малой вероятности наблюдённого действия у logging policy.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В IPS речь о дисперсии оценки ожидаемой награды целевой политики на случайных логах. Её увеличивают большие веса, возникающие при малой вероятности наблюдённого действия у logging policy.
Оценка имеет вид среднего wᵢrᵢ, где wᵢ = π(aᵢ|xᵢ)/μ(aᵢ|xᵢ). При независимых наблюдениях дисперсия среднего равна Var(wr)/n, если она конечна. Для действий целевой политики необходимо покрытие μ > 0. Clipping снижает разброс ценой смещения; это не дисперсия самих embeddings или предсказаний модели.