Как не потерять контекст/структуру документа при чанкинге?

Разбивайте документ по смысловым границам, сохраняйте заголовки и связи с родительскими разделами, а при выдаче добавляйте необходимый соседний контекст.

Фиксированный размер чанка не должен быть единственным правилом. Сначала выделяют разделы, абзацы, списки, таблицы и код, затем делят слишком длинные элементы. В метаданных хранят документ, путь заголовков, номер страницы и порядок фрагментов. Небольшое перекрытие помогает на границах, но не заменяет структуру. Для поиска можно индексировать небольшие фрагменты, а модели передавать расширенный родительский раздел. Качество проверяют на вопросах, ответ на которые требует нескольких соседних частей, учитывая бюджет контекста.