Как провести A/B-тест по шагам?

Последовательность для обычного рандомизированного эксперимента:

1. Сформулировать гипотезу: какое изменение должно улучшить продукт и почему.
2. Выбрать метрики: целевую, защитные ограничения и показатели качества данных; задать критерий решения.
3. Спроектировать сравнение: аудитория, единица рандомизации, контроль, воздействие, доли трафика и возможное влияние участников друг на друга.
4. Рассчитать выборку: определить α, мощность, MDE и вариативность метрики; согласовать длительность и окно измерения.
5. Проверить реализацию: закрепление пользователей за группами, события и корректность расчётов. A/A-проверка при необходимости помогает диагностике, но не гарантирует отсутствие всех ошибок.
6. Запустить и контролировать качество: отслеживать технические сбои, критический вред и несоответствие размеров групп плану. Обычный тест не заканчивают при первом p < 0,05.
7. Проанализировать по плану: оценить эффект, доверительный интервал, защитные метрики и множественные проверки; затем решить, внедрять, доработать или оставить контроль.

Незначимый результат не означает доказанное отсутствие эффекта. Вывод, ограничения и выполненный анализ фиксируют, чтобы не выбирать удобную интерпретацию задним числом. Подготовка, контроль эксперимента