Правильно ли я понимаю, что вы сначала искали минимальное совпадение (например, совпадение по абзацам), а затем просто выгружали весь документ целиком и отправляли его в контекст LLM?

Это возможная схема retrieval с расширением контекста, но подтвердить конкретную реализацию можно только по вашему pipeline. Найденный фрагмент не обязательно означает отправку всего документа.

Объясните, какая единица индексировалась, как выбирались кандидаты и что происходило после поиска: соседние абзацы, раздел или полный текст. Полный документ иногда сохраняет контекст, но увеличивает стоимость и шум и может не поместиться в окно модели. Нужны ограничения размера, устранение дублей и проверка релевантности. Не соглашайтесь с формулировкой интервьюера, если система на самом деле работала иначе.