Какие оптимизации инференса стандартной LLM можно предложить, если корпоративный GPT работает медленно?

Сначала разделите задержку на очередь, retrieval, prefill и генерацию. Ускорение модели не поможет, если основное время уходит на внешний инструмент или перегруженную очередь.

Практические меры: сократить лишний контекст и output budget, кешировать повторяемые результаты/префиксы, подобрать batching, использовать KV-cache, квантование или более компактную модель. Для собственного serving оценивают эффективные attention kernels, memory bandwidth, continuous batching и speculative decoding. Измеряйте TTFT, скорость генерации, p95 latency и качество на своих задачах. Streaming улучшает ощущение ожидания, но сам по себе не уменьшает суммарное вычисление; каждый приём проверяется на регрессии качества.