Q нового токена умножается на транспонированную матрицу накопленных K, давая scores внимания по позициям. После масштабирования, маски и softmax веса умножаются на V.
На что умножается Q-вектор при decode и что получается?
Q нового токена умножается на транспонированную матрицу накопленных K, давая scores внимания по позициям. После масштабирования, маски и softmax веса умножаются на V.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Q нового токена умножается на транспонированную матрицу накопленных K, давая scores внимания по позициям. После масштабирования, маски и softmax веса умножаются на V.
Для одной головы Q имеет форму [1,dₖ], Kᵀ — [dₖ,L], результат — [1,L]. Умножение весов [1,L] на V [L,dᵥ] даёт выход [1,dᵥ]. Batch и головы добавляют внешние измерения; старые K/V берутся из кеша.