Как p-value связывает наблюдаемые данные и нулевую гипотезу?

p-value — это вероятность получить наблюдаемые данные (или более экстремальные), если нулевая гипотеза верна. Иными словами, p-value показывает, насколько данные согласуются с предположением, что эффект отсутствует.

Если p-value очень маленькое (обычно меньше 0.05), это говорит о том, что наблюдаемые данные маловероятны при условии истинности нулевой гипотезы, и мы можем отвергнуть нулевую гипотезу в пользу альтернативной.

Пример: если мы тестируем, влияет ли новый алгоритм на точность модели, нулевая гипотеза — что алгоритм не влияет. Малое p-value укажет, что данные маловероятны при отсутствии эффекта, и значит алгоритм действительно влияет.

Таким образом, p-value связывает наблюдаемые данные и нулевую гипотезу через вероятность наблюдения таких данных при условии, что нулевая гипотеза верна.