Есть ещё статистические метрики качества модели — какие они бывают?

Метрики выбирают по задаче: precision/recall/F1 и ROC/PR-AUC для классификации, MAE/RMSE для регрессии, NDCG/MAP для ранжирования. Одного универсального показателя качества нет.

Учитывайте дисбаланс, цену ошибок, калибровку и показатели по сегментам. Помимо среднего значения полезны доверительные интервалы и устойчивость на независимом наборе. Accuracy может скрыть провал на редком классе; офлайн-метрика не всегда отражает пользу продукта. Статистическая значимость различия не равна его практической важности.