ROC-AUC (площадь под кривой ROC) измеряет способность модели различать классы, оценивая соотношение истинно положительных и ложно положительных результатов при разных порогах. При сильном дисбалансе классов ROC-AUC может быть менее информативен, так как он не учитывает абсолютное количество ошибок, а только относительные показатели. В таких случаях модель может показывать высокий ROC-AUC, даже если плохо распознаёт миноритарный класс. Поэтому для дисбалансных данных часто дополнительно используют метрики, чувствительные к классовому дисбалансу, например Precision-Recall AUC или F1-меру.
Вычислите ROC-AUC для константной модели и случайной модели при соотношении классов 9 к 1.
ROC-AUC (площадь под кривой ROC) измеряет способность модели различать классы, оценивая соотношение истинно положительных и ложно положительных результатов при разных порогах.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
ROC-AUC (площадь под кривой ROC) измеряет способность модели различать классы, оценивая соотношение истинно положительных и ложно положительных результатов при разных порогах. При сильном дисбалансе классов ROC-AUC может быть менее информативен, так как он не учитывает абсолютное количество ошибок, а только относительные показатели. В таких случаях модель может показывать высокий ROC-AUC, даже если плохо распознаёт миноритарный класс. Поэтому для дисбалансных данных часто дополнительно используют метрики, чувствительные к классовому дисбалансу, например Precision-Recall AUC или F1-меру.