Какова размерность логитов и как из них получается токен?

Для языковой модели logits обычно имеют форму [batch, sequence, vocabulary]. При генерации берут вектор последней позиции и выбирают следующий token ID по правилу декодирования.

Greedy выбирает argmax, sampling — случайный токен из преобразованного распределения, например после temperature и top-p. Затем ID добавляется в последовательность и декодируется tokenizer. Токен не обязательно равен слову; logits — ещё не вероятности до нормализации.