Что такое нулевая гипотеза и альтернативная гипотеза?

Нулевая гипотеза (H₀) — исходное утверждение, относительно которого строится статистическая проверка. В A/B-тестах это часто отсутствие различий: например, конверсии вариантов равны.

Альтернативная гипотеза (H₁) описывает рассматриваемое отличие. Она может быть двусторонней («конверсии различаются») или односторонней («конверсия B выше A»). Направление проверки выбирают до изучения результатов.

По данным нулевую гипотезу отвергают либо не отвергают при выбранном уровне значимости. Отсутствие оснований для отклонения не доказывает равенство: тесту могло не хватить мощности.