Размерность выхода MLP задаётся последним линейным слоем. В Transformer FFN обычно возвращает d_model, чтобы его выход можно было сложить с residual-входом.
Какова размерность выхода MLP-слоя?
Размерность выхода MLP задаётся последним линейным слоем. В Transformer FFN обычно возвращает d_model, чтобы его выход можно было сложить с residual-входом.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Размерность выхода MLP задаётся последним линейным слоем. В Transformer FFN обычно возвращает d_model, чтобы его выход можно было сложить с residual-входом.
Например, последовательность [B,T,d_model] → [B,T,d_ff] → [B,T,d_model] сохраняет batch и длину, меняя только последнюю ось. Но произвольный MLP-классификатор может выдавать число классов. Без архитектуры нельзя назвать единственное числовое значение.