Подготовка к интервью
Разбирайте реальные вопросы, сверяйтесь с подробными ответами и готовьтесь по технологиям и компаниям.
Проверьте, насколько резюме подходит выбранной позиции, и получите рекомендации по улучшению.
Каталог
Для настройки A/B теста нового алгоритма поиска нужно:
Читать ответP-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна.
Читать ответA/B-тестирование — это метод сравнения двух версий продукта или функции, чтобы определить, какая из них работает лучше по заданным метрикам.
Читать ответПримеры распространённых критериев:
Читать ответПоследовательность для обычного рандомизированного эксперимента:
Читать ответСтройте рассказ вокруг конкретного эксперимента, в котором действительно участвовали:
Читать ответОшибка первого рода — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.
Читать ответВ контексте расчёта выборки A/B-теста обычно речь о MDE — Minimum Detectable Effect, минимально обнаруживаемом эффекте.
Читать ответp-value — вероятность при верной нулевой гипотезе H₀ и выполнении предпосылок модели получить значение статистики теста не менее экстремальное, чем наблюдаемое.
Читать ответПараметры согласуют до запуска, а не подбирают под получившийся результат.
Читать ответНулевая гипотеза (H₀) — исходное утверждение, относительно которого строится статистическая проверка. В A/B-тестах это часто отсутствие различий: например, конверсии вариантов равны.
Читать ответДа: улучшение целевой метрики ещё не означает, что изменение полезно для продукта в целом. Нужны три дополнительные группы показателей:
Читать ответ