Как называется эффект, который заранее задают в гипотезе и хотят обнаружить?

В контексте расчёта выборки A/B-теста обычно речь о MDE — Minimum Detectable Effect, минимально обнаруживаемом эффекте. Это величина изменения метрики, для которой планируют достичь заданной мощности при выбранном уровне α и дизайне эксперимента.

Например, условная базовая конверсия равна 10%, а тест рассчитывают на обнаружение роста до 10,5%. Эффект составляет 0,5 процентного пункта, или 5% относительно базы: (10,5 − 10) / 10 = 0,05. Эти способы записи нельзя путать.

MDE не означает «всё меньше него принципиально невозможно обнаружить». Меньший эффект тоже может дать значимость, но мощность для него обычно ниже. Также MDE не равен автоматически ожидаемому эффекту или минимальному экономически полезному изменению. Последнее помогает выбрать разумную цель планирования, но относится к бизнес-решению.

Чем меньший эффект требуется надёжно обнаруживать, тем больше обычно нужна выборка. Её рассчитывают совместно с α, мощностью и вариативностью метрики, а не назначают MDE задним числом по результату теста. Планирование обнаруживаемого эффекта и выборки, NIST