Что такое токен для ИИ?

Токен в языковой модели — единица представления текста: слово, часть слова, знак или иной фрагмент. Количество токенов зависит от токенизатора, языка и конкретного текста.

Перед обработкой текст преобразуется в последовательность идентификаторов токенов. Модель предсказывает следующие элементы этой последовательности, а декодер превращает их обратно в текст. Одно слово не обязательно равно одному токену; код и разные письменности разбиваются по-разному. Контекстное окно ограничивает объём входа и генерируемого продолжения согласно модели. Для точного подсчёта нужен совместимый токенизатор, а не деление числа символов на универсальный коэффициент.