Как вообще работают LLM, кто их придумал и почему это работает?

LLM обучаются моделировать последовательности токенов на большом объёме данных; многие современные модели используют Transformer. Единственного изобретателя всех LLM нет: это результат развития нескольких направлений.

В авторегрессионной модели обучение улучшает предсказание следующего токена, а attention помогает учитывать контекст. Transformer предложила команда авторов работы Attention Is All You Need; последующее масштабирование и настройка сделали модели полезными для диалога. Это не гарантирует истинность ответа: модель может уверенно продолжить текст ошибкой. Знания и закономерности возникают из обучения, а не из прямого доступа ко всем источникам.

Источник: arxiv.org.