ROC AUC равен 0,5: одинаковый скор не ранжирует классы. ROC состоит из крайних точек (0, 0) и (1, 1), соединённых диагональю.
Есть 101 объект: 100 объектов класса 0 и 1 объект класса 1. Первая модель всем объектам выдаёт одинаковый скор. Каковы её ROC AUC и форма ROC-кривой?
ROC AUC равен 0,5: одинаковый скор не ранжирует классы. ROC состоит из крайних точек (0, 0) и (1, 1), соединённых диагональю.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
ROC AUC равен 0,5: одинаковый скор не ранжирует классы. ROC состоит из крайних точек (0, 0) и (1, 1), соединённых диагональю.
При пороге выше общего скора все объекты отрицательные: TPR = 0 и FPR = 0. При включении этого скора все становятся положительными: TPR = 1 и FPR = 1. Каждая пара «положительный — отрицательный» имеет равные оценки и даёт половину балла в AUC. Дисбаланс 100 к 1 этого результата не меняет; промежуточные точки диагонали возникают при интерполяции.