Как бы ты настроил A/B тест для проверки нового алгоритма поиска? Как определить необходимый размер выборки и продолжительность теста?
Для настройки A/B теста нового алгоритма поиска нужно:
Читать ответПодготовка к интервью
25 вопросов для подготовки на позицию Продуктовый аналитик
Что проверяют на интервью
Подборка связывает экспериментальный подход и повседневную работу с метриками: от постановки цели до проверки изменений и объяснения результата. Есть кейсы каршеринга, платёжного сценария, подарочных сертификатов и SQL-задача по конверсии эксперимента.
Каталог
Для настройки A/B теста нового алгоритма поиска нужно:
Читать ответЕсли количество успешных заказов снижается, нужно провести системный анализ причин.
Читать ответP-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна.
Читать ответДля подсчёта конверсии по группам эксперимента (expid=90) из события Epic Match Start в Epic Fight Win с правильной атрибуцией через join по времени, нужно:
Читать ответДля оценки бизнеса каршеринга и поиска путей роста важно анализировать ключевые метрики и факторы, влияющие на спрос и предложение.
Читать ответNPS равен доле промоутеров с оценкой 9–10 минус доля критиков с оценкой 0–6. Оценки 7–8 входят в общее число ответов, но не в вычитаемые группы.
Читать ответРазложите снижение выручки на трафик, конверсии по этапам и доход с успешной операции. Затем найдите сегмент и момент, в которых появился основной провал.
Читать ответДля подарочных сертификатов нужны метрики покупки, использования и экономики: конверсия в оплату, сумма продаж, доля активации и погашения, повторные покупки и маржинальность.
Читать ответРанжирование только по цене игнорирует вероятность успешного целевого действия. Если цель — выдачи, сравнивают ожидаемые выдачи на показ; если доход — ожидаемый доход на показ.
Читать ответЦелевые значения обосновывают исходной метрикой, размером проблемы и допущениями о влиянии решения. Без этих данных числовой прогноз будет гипотезой, а не обещанием.
Читать ответСравните показатели до и после внедрения на сопоставимых данных и назовите того, кто принял результат: владельца процесса, бизнес-заказчика или финансовую команду.
Читать ответСначала уточните, какую проблему должен решить проект и для кого. Выберите основную метрику результата и несколько защитных показателей, чтобы улучшение одного параметра не скрывало ухудшение других.
Читать ответ