В контексте сложности attention, особенно в трансформерах, n обычно обозначает длину входной последовательности — количество токенов или элементов, над которыми вычисляется внимание.
Что такое n в контексте сложности attention?
В контексте сложности attention, особенно в трансформерах, n обычно обозначает длину входной последовательности — количество токенов или элементов, над которыми вычисляется внимание.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В контексте сложности attention, особенно в трансформерах, n обычно обозначает длину входной последовательности — количество токенов или элементов, над которыми вычисляется внимание.
Сложность классического механизма self-attention равна O(n²), так как для каждого из n элементов вычисляется внимание ко всем остальным n элементам, что требует построения матрицы размером n×n.
Это ограничивает применение attention к очень длинным последовательностям, так как вычислительные и память растут квадратично с длиной входа.