Можешь рассказать подробнее? (про защиту RAG-системы от галлюцинаций)

Защита RAG строится на качестве поиска, проверяемых источниках и возможности отказаться от ответа. Наличие найденного текста не гарантирует, что ответ модели следует именно из него.

Проверяйте retrieval на размеченных запросах, убирайте устаревшие дубли и фильтруйте документы по правам. Просите отвечать только на подтверждённое и указывать источник; отдельно проверяйте соответствие утверждения цитате. Для недостаточных данных предусмотрите уточнение или отказ. Измеряйте не только полезность ответа, но и unsupported claims, корректность ссылок и утечки.