Что такое позиционное кодирование в трансформере?

Позиционное кодирование в трансформерах — это способ добавить информацию о порядке элементов последовательности, так как сами трансформеры не имеют встроенного механизма учёта позиции токенов.

Трансформер обрабатывает вход как набор токенов без учёта их порядка, поэтому к эмбеддингам токенов добавляют вектор позиционного кодирования, который зависит от позиции токена в последовательности.

Чаще всего используется синусоидальное позиционное кодирование, где для каждой позиции вычисляются значения с помощью синусов и косинусов разных частот:

• Для позиции pos и размерности i:

  • PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
  • PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Это позволяет модели различать позиции и обобщать на последовательности другой длины.

Таким образом, позиционное кодирование даёт трансформеру информацию о порядке токенов, необходимую для понимания структуры последовательности.