Какие метрики подходят для оценки моделей с несбалансированными классами?

Для дисбаланса полезны precision, recall, F1, PR-AUC и метрики стоимости ошибок. Выбор зависит от того, что дороже: пропуск редкого события или ложная тревога.

Смотрите confusion matrix и показатели по классам; macro-усреднение не даёт большому классу скрыть малые. ROC-AUC оценивает ranking, но может выглядеть хорошо при низкой precision редкого класса. Порог выбирают на валидации, а качество проверяют при рабочей распространённости события.