После token ID и embeddings что именно поступает в decoder: какова форма представлений, как добавляется позиционная информация и что происходит дальше?

После embedding lookup обычно получается тензор [batch, sequence, d_model]. Decoder-слои преобразуют его через causal self-attention и feed-forward-блоки с residual-связями и нормализацией.

Способ позиционного кодирования зависит от архитектуры: absolute embeddings могут прибавляться к входу, а RoPE вращает компоненты Q/K внутри attention, не просто добавляет вектор к token embeddings. Causal mask запрещает видеть будущие токены, padding mask исключает пустые позиции. После последнего слоя проекция в размер словаря даёт logits [batch, sequence, vocabulary]; для следующего токена используют нужную последнюю позицию. В autoregressive decode с KV-cache новый шаг обычно обрабатывает один токен.

Источник: arxiv.org.