Что LLM получает на выходе на каждом шаге инференса?

На каждом шаге авторегрессивная LLM вычисляет logits по словарю для следующего токена. После правил декодирования выбирается token ID, который добавляется в последовательность.

Softmax переводит logits в распределение; temperature и другие ограничения могут его изменить. Затем обновляется кеш внимания и выполняется следующий шаг до стоп-условия. Выходом одного шага обычно является токен, а не целое слово или предложение. Метаданные usage и инструментальные вызовы — часть интерфейса системы вокруг модели.