Как бы вы провели эксперимент: только на исторических данных или через A/B-тест в production?

Обычно начинают с исторических данных для проверки безопасности и качества, а влияние на поведение пользователей подтверждают A/B-тестом. Эти этапы отвечают на разные вопросы и дополняют друг друга.

Offline-проверка позволяет отсеять явно плохие варианты, но не воспроизводит изменение поведения и политики показов. Перед production задайте гипотезу, единицу рандомизации, основную метрику, guardrails и требуемый объём. Для рискованных действий используйте shadow или ограниченный запуск. Исторические логи требуют учёта selection bias и доступности контрфактических исходов.