Какие метрики использовать для оценки новой модели при выкатывании на пилотную группу?

При выкатывании новой модели на пилотную группу важно использовать метрики, которые отражают как качество модели, так и её влияние на бизнес и пользователей. Основные категории метрик:

• Качество модели:

  • Для классификации: точность (accuracy), полнота (recall), точность (precision), F1-score, ROC-AUC.
  • Для регрессии: средняя абсолютная ошибка (MAE), среднеквадратичная ошибка (MSE), R².

• Метрики бизнес-эффекта:

  • Конверсия, удержание пользователей, доход, вовлечённость — в зависимости от задачи.

• Метрики стабильности и надежности:

  • Drift данных, стабильность предсказаний во времени.

• Метрики пользовательского опыта:

  • Время отклика, ошибки в работе приложения.

Для пилотного тестирования часто используют A/B тестирование, сравнивая метрики новой модели с текущей. Важно отслеживать не только улучшение качества предсказаний, но и влияние на конечные показатели бизнеса и пользовательский опыт.