Ошибка первого рода — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.
Что такое ошибка первого рода (альфа) и ошибка второго рода (бета)?
Ошибка первого рода — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Ошибка первого рода — это ложное срабатывание теста, когда мы отвергаем нулевую гипотезу, хотя она верна. Проще говоря, мы считаем, что есть эффект, когда его на самом деле нет.
Ошибка второго рода — это пропуск эффекта, когда мы не отвергаем нулевую гипотезу, хотя она ложна. То есть мы не замечаем реальный эффект.
Например, при тестировании новой функции на сайте:
- Ошибка первого рода — мы думаем, что новая функция улучшила конверсию, хотя на самом деле изменений нет.
- Ошибка второго рода — мы не замечаем, что функция действительно улучшила конверсию.
α и β — не названия событий, а связанные с ними вероятности. Уровень значимости α ограничивает вероятность ошибки I рода при выполнении предпосылок теста; β зависит от конкретного размера эффекта и дизайна. Мощность теста равна 1 − β.