Как оценить RPS запросов к LLM на основе частоты сообщений от пользователя, длительности сессии и числа пользователей, а также сопоставить его с пропускной способностью модели?

Средний поток равен числу активных пользователей, умноженному на их частоту запросов; пиковый поток и токены оценивают отдельно.

Если U пользователей отправляют по m сообщений за сессию длительностью T секунд, средняя оценка — U×m/T при согласованном определении одновременной аудитории. Средняя занятость примерно λ×W запросов. Сопоставляйте это с лимитами параллелизма и токенов, учитывая длину контекста и ответы.