Какие метрики вы бы мониторили после деплоя модели в production: сервисные, данные и модельные?

Мониторинг модели в продакшене включает несколько ключевых аспектов:

1. Логирование предсказаний и входных данных — сохраняйте данные, на которых модель делает предсказания, чтобы можно было анализировать поведение модели и выявлять аномалии.
2. Отслеживание метрик качества — если есть возможность получать реальные метки (ground truth), регулярно вычисляйте метрики (точность, F1, RMSE и т.д.) для оценки деградации модели.
3. Мониторинг распределения данных (Data Drift) — следите за изменением распределения входных данных и выходов модели, чтобы выявлять отклонения от обучающего набора.
4. Алерты и автоматизация — настраивайте уведомления при обнаружении аномалий или ухудшении метрик.
5. Инструменты и платформы — используйте специализированные решения (например, Prometheus, Grafana, MLflow, Seldon, Evidently AI) для сбора и визуализации метрик.

Пример: можно настроить pipeline, который каждую ночь собирает данные предсказаний и реальные метки, вычисляет метрики, сравнивает с порогами и при необходимости отправляет уведомления команде.