На твой взгляд, все статистические метрики качества считаются одинаково, есть ли у них нюансы?

У метрик качества разные определения, чувствительность и способы усреднения. Одинаковое числовое значение двух метрик не означает одинаковое качество или одинаковую пользу для задачи.

В классификации важны порог, баланс классов, macro/micro/weighted averaging; precision и recall отражают разные ошибки. В регрессии MAE и RMSE по-разному реагируют на большие отклонения. Сравнение требует одинаковой выборки, обработки пропусков и отсутствия утечки. Учитывают доверительные интервалы и разрезы данных, а метрику выбирают по стоимости ошибок и цели продукта. Название метрики без версии расчёта и контекста недостаточно для корректного вывода.