Что нужно мониторить в ML/LLM-сервисах: с точки зрения инфраструктуры, ресурсов и качества?

Мониторинг ML/LLM включает доступность, latency, ошибки, очередь, ресурсы и стоимость, а также качество входов и результатов. Технически успешный HTTP-ответ может содержать плохой прогноз.

Следите за p95/p99, timeout, retries, CPU/GPU, памятью и токенами по версиям модели. Для качества нужны пропуски, drift, калибровка, метрики с задержанными метками и выборочная проверка ответов. Разделяйте симптомы и причины, задавайте actionable alerts. Не складывайте персональные данные и полный пользовательский контекст в открытые логи.