Выберите реальный случай и отделите offline-метрику от пользовательского результата. Частые причины — утечки, сдвиг данных, train/serving skew или несоответствие выбранной метрики задаче.
Расскажите о случае, когда модель хорошо работала при офлайн-оценке, но плохо в production: что произошло и что вы сделали?
Выберите реальный случай и отделите offline-метрику от пользовательского результата. Частые причины — утечки, сдвиг данных, train/serving skew или несоответствие выбранной метрики задаче.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Выберите реальный случай и отделите offline-метрику от пользовательского результата. Частые причины — утечки, сдвиг данных, train/serving skew или несоответствие выбранной метрики задаче.
Опишите симптом, сравнение данных и гипотезы диагностики. Затем назовите принятые меры: откат, исправление признаков, новая валидация или изменение мониторинга. Не утверждайте причину до проверки. Если такого опыта не было, предложите план расследования и прямо обозначьте его как гипотетический.