Почему LLM отдаёт результат по одному токену, а не все сразу?

Авторегрессионная LLM строит продолжение последовательно: следующий токен зависит от уже выбранных. Streaming позволяет показать часть результата раньше, не дожидаясь завершения всей генерации.

При этом сетевые chunks не обязаны совпадать с одним токеном: сервер может объединять фрагменты, а клиент — буферизовать их. Можно вернуть полный ответ одним сообщением, просто скрыв промежуточные части. Существуют оптимизации вроде speculative decoding, поэтому «всегда ровно один токен за отдельный запрос» неверно. Streaming снижает воспринимаемое ожидание, а не обязательно общее время вычисления.