Minimum Detectable Effect (MDE) — это минимальный размер эффекта (изменения метрики), который можно статистически достоверно обнаружить в A/B-тесте при заданном уровне значимости и мощности теста.
Что такое Minimum Detectable Effect?
Minimum Detectable Effect (MDE) — это минимальный размер эффекта (изменения метрики), который можно статистически достоверно обнаружить в A/B-тесте при заданном уровне значимости и мощности теста.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Minimum Detectable Effect (MDE) — это минимальный размер эффекта (изменения метрики), который можно статистически достоверно обнаружить в A/B-тесте при заданном уровне значимости и мощности теста.
Проще говоря, MDE показывает, насколько сильно должна измениться метрика (например, конверсия), чтобы мы могли с уверенностью сказать, что изменение не случайно.
Знание MDE помогает:
- Определить необходимый размер выборки для теста.
- Понять, какие изменения действительно значимы для бизнеса.
Например, если MDE равен 5%, значит, тест сможет выявить улучшение или ухудшение метрики не менее чем на 5% с заданной статистической уверенностью.