Что такое NTK-aware scaling RoPE для расширения context window?

NTK-aware scaling RoPE (Rotary Positional Encoding) — это метод расширения контекстного окна трансформеров, основанный на учёте свойств нейронной сети через Neural Tangent Kernel (NTK).

Идея:

RoPE — способ кодирования позиционной информации в трансформерах с помощью вращательных матриц. При увеличении длины контекста важно, чтобы позиционные кодировки масштабировались так, чтобы модель сохраняла способность эффективно обрабатывать более длинные последовательности.

NTK-aware scaling учитывает поведение модели в бесконечно широком пределе (через NTK) и корректирует масштабирование позиальных кодировок, чтобы сохранить стабильность градиентов и качество обучения при увеличении длины контекста.

Это позволяет расширить контекстное окно без необходимости переобучения модели с нуля и без потери качества обработки длинных последовательностей.

Применение особенно актуально для больших языковых моделей, где важно эффективно обрабатывать длинные тексты.