Контекстное окно — предел объёма токенов, который модель может учитывать в одном запросе. Его занимают инструкции, история, документы и, в зависимости от интерфейса, резерв под ответ.
Что такое контекстное окно и почему оно важно при работе с LLM?
Контекстное окно — предел объёма токенов, который модель может учитывать в одном запросе. Его занимают инструкции, история, документы и, в зависимости от интерфейса, резерв под ответ.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Контекстное окно — предел объёма токенов, который модель может учитывать в одном запросе. Его занимают инструкции, история, документы и, в зависимости от интерфейса, резерв под ответ.
Длинный контекст увеличивает стоимость и задержку и не гарантирует точного использования каждого факта. При превышении лимита нужны отбор, сокращение или разбиение данных. Ограничение конкретной модели и API проверяют отдельно; символы, слова и токены не взаимозаменяемы.