Как обогатить контекст LLM? Что такое RAG и как он работает?

RAG дополняет запрос к языковой модели найденными релевантными материалами. Вместо надежды только на знания в весах модель получает внешний контекст для конкретного вопроса.

Документы индексируют, затем по запросу ищут фрагменты, при необходимости переранжируют и добавляют их в ограниченный контекст. Ответ связывают с источниками и проверяют качество retrieval. RAG не гарантирует отсутствие ошибок. В прикладной системе нужны проверка прав на документы, защита от инструкций внутри источников и обновление индекса.

Источник: arxiv.org.