Опишите реальные форматы документов и способ разбиения с учётом их структуры. Один фиксированный размер chunk не одинаково хорошо работает для PDF, таблиц и текстовых инструкций.
Какой чанкинг использовали и что это были за документы (Word, PDF, Excel и т.д.)?
Опишите реальные форматы документов и способ разбиения с учётом их структуры. Один фиксированный размер chunk не одинаково хорошо работает для PDF, таблиц и текстовых инструкций.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Опишите реальные форматы документов и способ разбиения с учётом их структуры. Один фиксированный размер chunk не одинаково хорошо работает для PDF, таблиц и текстовых инструкций.
Поясните извлечение заголовков, абзацев, таблиц и OCR, размер фрагмента и overlap. Сохраняйте источник и позицию, чтобы возвращаться к оригиналу. Выбор обоснуйте retrieval-оценкой и примерами ошибок; не называйте параметр универсально оптимальным без проверки на своём корпусе.