Подготовка к интервью
13 вопросов с ответами по теме «A/B-тестирование»
Что проверяют на интервью
Вопросы охватывают путь от гипотезы и дизайна эксперимента до выбора критерия и обсуждения результата. Теоретические определения дополнены задачей проверки поиска и рекомендациями, как описать собственное участие в эксперименте.
Каталог
Для настройки A/B теста нового алгоритма поиска нужно:
Читать ответПримеры распространённых критериев:
Читать ответПоследовательность для обычного рандомизированного эксперимента:
Читать ответВ классической проверке среднего:
Читать ответУ «критерия хи-квадрат» нет одной универсальной H₀: сначала уточняют задачу.
Читать ответСтройте рассказ вокруг конкретного эксперимента, в котором действительно участвовали:
Читать ответОшибка первого рода — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.
Читать ответВ контексте расчёта выборки A/B-теста обычно речь о MDE — Minimum Detectable Effect, минимально обнаруживаемом эффекте.
Читать ответp-value — вероятность при верной нулевой гипотезе H₀ и выполнении предпосылок модели получить значение статистики теста не менее экстремальное, чем наблюдаемое.
Читать ответПараметры согласуют до запуска, а не подбирают под получившийся результат.
Читать ответНулевая гипотеза (H₀) — исходное утверждение, относительно которого строится статистическая проверка. В A/B-тестах это часто отсутствие различий: например, конверсии вариантов равны.
Читать ответКак проверка статистической значимости — нет; как сбор экспериментальных данных — иногда да.
Читать ответ