Какие метрики важно отслеживать, когда модель внедряется в продакшн?

Отслеживайте качество модели, качество входных данных, задержку, ошибки, нагрузку и стоимость. Дополнительно измеряйте бизнес-эффект и изменения распределения данных.

Для классификации это могут быть precision/recall по важным сегментам, для генерации — корректность, безопасность и доля приемлемых ответов. Инфраструктурные показатели включают p95/p99 latency, throughput, таймауты и использование ресурсов. Drift не равен автоматическому ухудшению качества, но требует проверки. Если разметка приходит позже, храните обезличенную связь предсказаний с результатами и сравнивайте новую версию с базовой на одинаковых условиях.