Что такое токен в рамках LLM и embedding?

В контексте больших языковых моделей (LLM) и эмбеддингов токен — это минимальная единица текста, которую модель обрабатывает. Токены могут быть словами, частями слов или даже отдельными символами, в зависимости от используемого токенизатора.

Например, слово "программирование" может разбиваться на несколько токенов, если токенизатор использует подсловные единицы (subwords).

Токены служат входными элементами для модели: она принимает последовательность токенов и генерирует на их основе выходные данные или эмбеддинги — числовые векторы, отражающие смысл текста.

Пример: для текста "Привет, мир!" токенизатор может выдать токены ["Привет", ",", "мир", "!"] или разбить их на более мелкие части.

Таким образом, токен — это базовый строительный блок для обработки текста в LLM и при создании эмбеддингов.