То есть нужно мониторить не только метрики качества модели, но и данные, на которых эта модель строится, правильно?

Да: качество входных данных и их соответствие обучению нужно отслеживать отдельно от качества предсказаний. Ошибка признаков может появиться раньше, чем станет доступна итоговая разметка.

Проверяйте пропуски, диапазоны, категории, свежесть, схему и различие между training и serving-преобразованиями. Изменение распределения — сигнал для разбора, а не автоматическое доказательство деградации модели. Сопоставляйте данные с качеством по сегментам и бизнес-результатом. В мониторинг не следует без необходимости выгружать персональные исходные записи; часто достаточно агрегатов и безопасных выборок.