Позиционные эмбеддинги добавляют информацию о позиции токена в последовательности к самим эмбеддингам слов, чтобы модель могла учитывать порядок элементов, так как трансформеры не имеют встроенного порядка.
Как позиционные эмбеддинги изменяют Q, K, V?
Позиционные эмбеддинги добавляют информацию о позиции токена в последовательности к самим эмбеддингам слов, чтобы модель могла учитывать порядок элементов, так как трансформеры не имеют встроенного порядка.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Позиционные эмбеддинги добавляют информацию о позиции токена в последовательности к самим эмбеддингам слов, чтобы модель могла учитывать порядок элементов, так как трансформеры не имеют встроенного порядка.
В контексте Q (Query), K (Key) и V (Value) — которые получаются из входных эмбеддингов через линейные преобразования — позиционные эмбеддинги обычно добавляются к входным эмбеддингам до вычисления Q, K и V. Таким образом, позиционная информация инкапсулируется в этих векторах.
Примерно так:
input_embeddings = word_embeddings + positional_embeddings
Q = input_embeddings @ W_Q
K = input_embeddings @ W_K
V = input_embeddings @ W_V
То есть позиционные эмбеддинги изменяют Q, K и V, добавляя к ним информацию о позиции, что позволяет механизму внимания учитывать порядок токенов при вычислении весов внимания.