Как увеличить скорость инференса для моделей OpenRouter через AI-агентный пайплайн?

Сначала измерьте время до первого токена, скорость генерации и задержки шагов агента. В OpenRouter можно выбирать маршрутизацию по latency или throughput, но это не гарантирует фиксированную скорость.

Сократите лишние последовательные вызовы, контекст и длину ответа, распараллельте независимые операции с лимитом конкуренции. Streaming улучшает восприятие, не обязательно полное время. Проверяйте retries, fallbacks и качество выбранного провайдера на своих запросах, а не только опубликованные средние значения.

Источник: github.com.