Что можно сделать, если развёрнутый агент отвечает слишком долго или не хватает памяти для размещения LLM?

Сначала разделите задержку на очередь, retrieval, инструменты и генерацию, а память — на веса, KV-cache и рабочие буферы. Оптимизация зависит от измеренного узкого места.

Сократите лишние шаги и контекст, кешируйте повторяемые данные, параллельте независимые вызовы. Для памяти рассмотрите меньшую модель, quantization, ограничение batch/context или распределение, проверяя качество и latency. Streaming улучшает воспринимаемое ожидание, но не уменьшает время полного вычисления сам по себе.