В классическом трансформере self-attention энкодера видит все непустые позиции входа, а self-attention авторегрессивного декодера закрывает будущие токены causal mask. Иначе обучение подсматривало бы ответ.
А в чём разница между self-attention в энкодере и self-attention в декодере?
В классическом трансформере self-attention энкодера видит все непустые позиции входа, а self-attention авторегрессивного декодера закрывает будущие токены causal mask. Иначе обучение подсматривало бы ответ.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В классическом трансформере self-attention энкодера видит все непустые позиции входа, а self-attention авторегрессивного декодера закрывает будущие токены causal mask. Иначе обучение подсматривало бы ответ.
Кроме causal mask учитываются padding и другие ограничения задачи. Cross-attention декодера к выходам энкодера — отдельный механизм, не self-attention. Архитектуры могут менять маски, поэтому правило относится к обычной encoder–decoder постановке. В decoder-only моделях причинное ограничение также обеспечивает генерацию по уже доступному префиксу.
Источник: arxiv.org.