Что такое p-value простым языком?

p-value — это число, которое показывает, насколько вероятно получить наблюдаемые данные, если предположить, что никакого эффекта или разницы на самом деле нет (то есть нулевая гипотеза верна).

Проще говоря, если p-value очень маленькое (обычно меньше 0.05), это значит, что такие данные маловероятны при отсутствии эффекта, и можно предположить, что эффект есть. Если p-value большое — данных недостаточно, чтобы отвергнуть нулевую гипотезу.

Например, в A/B-тесте p-value помогает понять, насколько результат изменения действительно отличается от случайности.