Как нам бороться с тем, что старая политика показа может быть не оптимальна, даже если использовать propensity — propensity здесь не сильно поможет?

Propensity корректирует смещение только для действий, которые старая политика могла показывать. Если вероятность действия равна нулю, переоценка весами не восстановит отсутствующий опыт.

Добавьте контролируемое exploration и логирование вероятностей, ограничьте новую политику областью покрытия либо явно примите предположения модели отклика. Малые propensity дают высокую дисперсию; clipping уменьшает её ценой смещения. Итоговые улучшения проверяйте безопасным online-экспериментом.

Источник: arxiv.org.