Что такое ошибка второго рода?

Ошибка второго рода возникает, когда нулевую гипотезу H₀ не отклоняют, хотя она ложна. В задаче поиска изменения это ложноотрицательный результат: реальное отличие есть, но данных оказалось недостаточно для его обнаружения выбранным тестом. Определение NIST

Например, в A/B-тесте проверяют H₀: конверсии вариантов равны. Предположим, настоящая конверсия A составляет 10%, а B — 11%. Если тест не выявил значимого различия, при таком истинном положении дел произошла ошибка второго рода. Это учебный пример: по одному незначимому результату мы не узнаем, равны ли реальные конверсии.

Вероятность этой ошибки обозначают β, а мощность теста — 1 − β. Обе величины относятся к заданной альтернативе, например улучшению на один процентный пункт, при фиксированных размере выборки и правилах анализа. Если для такого эффекта β = 0,2, то при многократном повторении эксперимента в тех же условиях тест обнаружит отличие примерно в 80% случаев. Это не вероятность существования эффекта после конкретного наблюдения.

Мощность зависит от величины эффекта, объёма и вариативности данных, уровня α и выбранного критерия. Большая выборка обычно уменьшает β; снижение α при прочих равных делает обнаружение труднее. Поэтому до запуска согласуют практически важный эффект, допустимые ошибки и рассчитывают нужный объём данных. Планирование выборки, NIST

Корректный вывод при отсутствии значимости: «H₀ не отклонена», а не «H₀ доказана». Для интерпретации смотрят также оценку эффекта и доверительный интервал, а не только прохождение порога p-value. Принципы ASA