Опиши по шагам путь пользовательского сообщения через LLM при инференсе — от чата до ответа, включая архитектурные детали Transformer.

Сообщение проходит подготовку контекста и токенизацию, затем токены преобразуются в embeddings и обрабатываются Transformer-блоками. Из logits следующего токена выполняется выбор и продолжается генерация.

В блоках работают attention, FFN, residual-связи и нормализация; позиционная информация учитывается способом конкретной модели. Prefill обрабатывает prompt, decode использует KV-cache прошлых токенов. Обвязка декодирует токены в текст, передаёт поток и обрабатывает инструменты, остановку и ошибки.