Что такое контекстное окно в LLM?

Контекстное окно в больших языковых моделях (LLM) — это ограниченный объем текста, который модель может одновременно учитывать при генерации ответа. Оно задает максимальное количество токенов (слов или частей слов), которые модель «видит» и обрабатывает за один раз.

Например, если контекстное окно составляет 2048 токенов, то модель не сможет учитывать информацию, выходящую за пределы этих 2048 токенов, что ограничивает длину диалога или текста, который можно обработать целиком. Это важно при работе с длинными документами или диалогами, где нужно учитывать только недавний или релевантный контекст.

Таким образом, контекстное окно — это своего рода «память» модели на текущий момент, ограничивающая объем информации для анализа и генерации.