Что такое ROC AUC?

ROC AUC — площадь под кривой зависимости TPR от FPR при изменении порога классификации. Для бинарной задачи она оценивает качество ранжирования положительных и отрицательных объектов.

TPR = TP/(TP+FN), FPR = FP/(FP+TN). AUC можно понимать как вероятность, что случайный положительный объект получит больший score, чем отрицательный, с половинным вкладом равных scores.

Около 0.5 соответствует случайному ранжированию, 1 — идеальному на данной выборке. Используют scores или вероятности, а не только итоговые классы. Метрика не показывает калибровку и стоимость ошибок при конкретном пороге; при сильном дисбалансе полезно также смотреть precision-recall и бизнес-ограничения.

Источник: scikit-learn.org.