Как бороться с проблемой роста контекста при активном ведении диалога пользователем?

Задайте бюджет контекста: сохраняйте недавние сообщения, компактное состояние задачи и только релевантную историю. Старые tool results и повторяющиеся документы не нужно отправлять целиком каждый раз.

Выделяйте устойчивые факты отдельно от временных деталей, суммаризируйте с привязкой к исходным сообщениям и извлекайте историю по необходимости. Резервируйте место под ответ и инструменты до вызова модели. Сжатие может потерять ограничения, поэтому проверяйте важные решения и явно разрешайте уточнения. Увеличение context window не устраняет стоимость и ухудшение внимания к длинному вводу.