В типичной плотной Transformer LM значительная часть весов находится в FFN/MLP блоках; доли attention и embeddings зависят от конфигурации. MoE часто заменяет плотный FFN набором экспертов.
В каких частях Transformer LM сосредоточена большая часть весов и для чего используется MoE?
В типичной плотной Transformer LM значительная часть весов находится в FFN/MLP блоках; доли attention и embeddings зависят от конфигурации. MoE часто заменяет плотный FFN набором экспертов.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
В типичной плотной Transformer LM значительная часть весов находится в FFN/MLP блоках; доли attention и embeddings зависят от конфигурации. MoE часто заменяет плотный FFN набором экспертов.
Оцените параметры по hidden size, промежуточной ширине, числу слоёв и размеру словаря — универсального процента нет. Router активирует лишь часть экспертов для токена, увеличивая ёмкость при меньшем приросте FLOPs. Полная память под параметры при этом остаётся существенной.
Источник: arxiv.org.