[имя] спросил: Как вы учитывали стоимость inference, если вместо 2–3 релевантных чанков могли отправлять модели целую статью?

Сравнивайте стоимость по фактическим входным/выходным токенам, задержке и качеству ответа. Передача всей статьи оправдана только если её дополнительный контекст заметно улучшает результат.

Задайте бюджет контекста и измерьте варианты на одинаковом наборе вопросов: несколько чанков, расширенные соседние фрагменты, целая статья. Оцените долю лишнего текста, пропуск нужных сведений и ошибки цитирования.

Reranking, дедупликация и ограничение длины уменьшают расходы, но слишком короткая вырезка может потерять смысл. Учитывайте отдельные правила кешируемых токенов конкретного провайдера, не предполагая бесплатный повтор. На интервью называйте только реальные измерения проекта и выбранный компромисс.