Каким инструментом делали структурный чанкинг документов?

Назовите фактический парсер и способ сохранения структуры: заголовки, абзацы, списки, таблицы и код. Структурный чанкинг — это не только разбиение строки по фиксированному числу символов.

Объясните цепочку: извлечение документа → дерево элементов → объединение по разделам в пределах токенного бюджета → metadata источника и положения. Большие разделы делятся дополнительно; таблицы и код не должны терять необходимый контекст. Если использовали собственный обработчик, это нормальный ответ, но стоит назвать его ограничения и проверку качества retrieval. Не приписывайте инструменту работу с форматами, которые в проекте не обрабатывались.