Постройте каскад: надёжные правила для однозначных случаев, ML для массовых, LLM только для сложных и человек для низкой уверенности или высокого риска. Каждый этап должен уметь отказаться от решения.
Как бы ты сейчас (с текущими знаниями) решал задачу классификации и маршрутизации заявок в сервис-деске, используя многоуровневый подход rule-based → ML → LLM fallback → человек? Назови конкретные технологии, модели и метрики.
Постройте каскад: надёжные правила для однозначных случаев, ML для массовых, LLM только для сложных и человек для низкой уверенности или высокого риска. Каждый этап должен уметь отказаться от решения.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Постройте каскад: надёжные правила для однозначных случаев, ML для массовых, LLM только для сложных и человек для низкой уверенности или высокого риска. Каждый этап должен уметь отказаться от решения.
Пример baseline: правила по сервису/коду ошибки → scikit-learn TfidfVectorizer + LogisticRegression → выбранная на eval LLM со структурированным выходом → очередь оператора. Для metadata можно сравнить CatBoost. Тексты тикетов считаются недоверенными, доступные категории задаются allowlist. Метрики: precision/recall по классам, стоимость неправильной маршрутизации, coverage, ручные исправления, p95 latency и цена тикета. Нужны временное разбиение, контроль дублей, калибровка порогов и shadow-запуск.
Источник: scikit-learn.org.