Как работает LLM? Чем она оперирует?

LLM преобразует текст в токены, обрабатывает их числовые представления и оценивает вероятности продолжения. При генерации модель последовательно выбирает следующие токены с учётом доступного контекста.

Токен может быть словом, частью слова или символами — это не обязательно один символ. Параметры модели получены обучением, а attention связывает элементы контекста. Модель не обязана иметь доступ к интернету или базе фактов: инструменты и поиск подключаются отдельно. Правдоподобное продолжение может быть ошибочным, поэтому факты, вычисления и критические решения проверяют.