Что такое p-value?

p-value — вероятность при верной нулевой гипотезе H₀ и выполнении предпосылок модели получить значение статистики теста не менее экстремальное, чем наблюдаемое. Что считать экстремальным, зависит от выбранной одно- или двусторонней альтернативы. Определение NIST

Например, проверяем равенство конверсий A и B. Значение p = 0,03 означает: если H₀ верна, столь же или более экстремальные результаты выбранного теста встречались бы с вероятностью 3%. Это не означает, что H₀ верна с вероятностью 3% или что эффект «случаен на 3%».

При заранее установленном α = 0,05 обычное правило p ≤ α приводит к отклонению H₀. Но при p > α нельзя объявлять равенство доказанным: тест мог быть недостаточно чувствительным.

Малое p-value также не гарантирует большого или полезного эффекта. Для решения нужны величина изменения, доверительный интервал, качество данных и корректность дизайна; множественные проверки и незапланированные остановки требуют отдельного учёта. Принципы интерпретации ASA