Как бы ты мониторил качество всей системы?

Разделите наблюдение на технические, модельные и продуктовые показатели. Доступность и latency не заменяют оценку правильности результата, а высокая offline-метрика не гарантирует пользу в production.

Следите за ошибками, очередями, стоимостью, дрейфом входов и качеством по размеченным примерам. Добавьте выборочный human review и критические guardrails. У каждого alert должны быть владелец, порог и понятное действие; чувствительные данные в телеметрию не отправляйте.