PR-AUC (Precision-Recall Area Under Curve) и ROC-AUC (Receiver Operating Characteristic Area Under Curve) — это метрики качества бинарной классификации, но они по-разному реагируют на дисбаланс классов.
При сильном дисбалансе классов как ведут себя precision, recall и PR-AUC?
PR-AUC (Precision-Recall Area Under Curve) и ROC-AUC (Receiver Operating Characteristic Area Under Curve) — это метрики качества бинарной классификации, но они по-разному реагируют на дисбаланс классов.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
PR-AUC (Precision-Recall Area Under Curve) и ROC-AUC (Receiver Operating Characteristic Area Under Curve) — это метрики качества бинарной классификации, но они по-разному реагируют на дисбаланс классов.
При экстремальном дисбалансе (когда положительный класс очень редкий) PR-AUC часто более информативна, так как она фокусируется на точности (precision) и полноте (recall) положительного класса. ROC-AUC учитывает соотношение истинноположительных и ложноположительных срабатываний, но при сильном дисбалансе ложноположительные ошибки могут казаться незначительными, что приводит к завышенной оценке качества модели.
Пример:
- В задаче обнаружения аномалий (редкие положительные случаи) PR-AUC покажет, насколько хорошо модель находит именно эти редкие случаи без большого количества ложных срабатываний.
- ROC-AUC может быть высоким даже при плохом обнаружении аномалий, если модель хорошо распознаёт отрицательный класс.
Поэтому при экстремальном дисбалансе рекомендуется использовать PR-AUC для более реалистичной оценки модели.