При такой схеме, если пользователь напишет слово «привет», оно пойдёт в RAG и получит ответ через RAG по слову «привет». Как мы можем это увидеть/предотвратить?

Если запрос не относится ни к одному из предусмотренных сценариев (например, просто "привет" или спам), то обычно применяют следующие подходы:

• Классификация как "непонятный" или "необрабатываемый" запрос. В этом случае система может ответить вежливым сообщением, например, "Извините, я не понимаю ваш запрос" или "Пожалуйста, уточните вопрос".

• Использование фильтров спама и предобработки. Для спама применяют отдельные модели или правила, чтобы отфильтровать нежелательные сообщения.

• Fallback-механизмы:

  • Перенаправление на оператора или поддержку.
  • Запись запроса для последующего анализа и расширения сценариев.

• Обучение модели на дополнительные данные. Если таких запросов много, стоит расширить обучающую выборку, чтобы модель могла их корректно обрабатывать.

• Использование intent detection с порогом уверенности. Если уверенность модели низкая, лучше не пытаться отвечать автоматически.

Таким образом, для запросов вне сценариев важно иметь fallback-логику, фильтрацию и возможность расширять систему на основе новых данных.