Сравните оба chunking-варианта на одинаковом наборе вопросов с известными источниками. Оценивайте retrieval и итоговый ответ при сопоставимом token budget, а не только одинаковом top-k.
Если есть два варианта разбиения на чанки разного размера, как выбрать лучший по качеству?
Сравните оба chunking-варианта на одинаковом наборе вопросов с известными источниками. Оценивайте retrieval и итоговый ответ при сопоставимом token budget, а не только одинаковом top-k.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Сравните оба chunking-варианта на одинаковом наборе вопросов с известными источниками. Оценивайте retrieval и итоговый ответ при сопоставимом token budget, а не только одинаковом top-k.
Малые chunks могут терять смысл, большие — добавлять шум и стоимость. Проверяйте вопросы на границах разделов, таблицы, длинные зависимости и дубли из overlap. Меняйте только chunking, фиксируя embedding, reranker и prompt, иначе вклад будет трудно выделить.