Что такое проверка статистических гипотез? Что такое ошибки первого и второго рода и p-value?

Проверка гипотез сопоставляет данные с H0. Ошибка I рода — отвергнуть верную H0, II рода — не отвергнуть ложную. p-value не равен вероятности истинности H0.

p-value — вероятность при H0 получить статистику не менее экстремальную, чем наблюдаемая, в рамках выбранного теста. Порог значимости задают заранее; мощность равна 1−β. Неполучение значимости не доказывает отсутствие эффекта: данных может не хватать. Помимо p-value важны размер эффекта, доверительный интервал, предпосылки теста и множественные сравнения.