Как организовать очередь, rate limiting и обработку запросов к LLM при превышении доступной производительности модели?

Ограничьте приём и параллелизм запросов, поставьте допустимую работу в ограниченную очередь и явно сообщайте пользователю об ожидании или перегрузке.

Лимиты считают не только по RPS, но и по токенам, длительности и пользователю. Нужны deadline, отмена, справедливое распределение и ограниченные повторы с backoff на временные ошибки. Бесконечная очередь лишь переносит отказ во всё более длинное ожидание.