Performer — это архитектура трансформера, которая использует метод приближения внимания с помощью случайных признаков (random features approximation) для снижения вычислительной сложности.
Что такое Performer и в чём идея random features approximation?
Performer — это архитектура трансформера, которая использует метод приближения внимания с помощью случайных признаков (random features approximation) для снижения вычислительной сложности.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Performer — это архитектура трансформера, которая использует метод приближения внимания с помощью случайных признаков (random features approximation) для снижения вычислительной сложности.
Идея в том, чтобы заменить классический механизм внимания, который имеет квадратичную сложность по длине последовательности, на более эффективный, аппроксимирующий внимание через проекции в пространство случайных признаков. Это позволяет вычислять внимание с линейной сложностью, что особенно важно для длинных последовательностей в NLP.
Random features approximation — это метод, при котором ядро внимания аппроксимируется с помощью случайных проекций, что позволяет эффективно вычислять скалярные произведения в новом пространстве без явного построения полной матрицы внимания.