Чем отличаются dense- и MoE-модели, например Qwen3-27B и Qwen3-30B-A3B?

Dense-модель использует плотные слои для каждого токена; MoE направляет токен в часть экспертов. У Qwen3-30B-A3B около 30 млрд параметров всего и 3 млрд активных на токен.

Активные параметры влияют на вычисления, но хранить обычно нужно и неактивные эксперты; MoE не равна dense-модели на 3B по памяти. Есть расходы на маршрутизацию и обмен. Название Qwen3-27B следует уточнить: в исходной официальной линейке Qwen3 близкая dense-модель называлась Qwen3-32B. Сравнивать качество и скорость нужно на конкретных версиях.

Источник: qwenlm.github.io.