Что такое Simpson's paradox в A/B-тестах?

Парадокс Симпсона — это статистический феномен, когда тренд, наблюдаемый в нескольких группах данных, исчезает или меняет направление при объединении этих групп. В контексте A/B-тестов это может привести к неправильным выводам, если не учитывать подгруппы пользователей.

Например, в A/B-тесте две версии сайта могут показывать разные результаты в разных сегментах пользователей (например, по возрасту или региону). В каждой группе версия A может быть лучше, но при объединении всех данных версия B кажется лучше из-за различий в распределении пользователей по группам.

Чтобы избежать парадокса Симпсона, важно анализировать результаты не только в целом, но и по ключевым сегментам, а также использовать стратифицированный анализ.