Как определяются длительность теста, размер выборки и дизайн эксперимента?

Параметры согласуют до запуска, а не подбирают под получившийся результат.

1. Дизайн: формулируют гипотезу, целевую и защитные метрики, аудиторию, контроль и изменение. Выбирают единицу рандомизации — например, пользователя или кластер, если участники влияют друг на друга. Определяют доли трафика, исключения и окно измерения результата. Подготовка эксперимента
2. Выборка: задают уровень α, мощность 1 − β и эффект MDE, который важно обнаружить. Используют исторический уровень и вариативность метрики. Метод расчёта должен соответствовать типу метрики и дизайну; повторные события одного пользователя нельзя автоматически считать независимыми участниками. Факторы расчёта выборки, NIST
3. Длительность: переводят нужный объём в время по ожидаемому притоку подходящих участников. В условном примере 40 000 участников при 5 000 новых участниках в день набираются за восемь дней. Затем учитывают недельные циклы, задержку результата и необходимость дождаться полного окна наблюдения последних участников.

Правило завершения также выбирают заранее. В обычном тесте с фиксированным горизонтом нельзя останавливаться при первом значимом p-value. Для статистически корректного досрочного решения нужен заранее выбранный последовательный метод; мониторинг критического вреда — отдельная задача.