Что такое MoE (Mixture of Experts) и почему эта архитектура может быть выгодна для инференса?

MoE использует несколько экспертных подмоделей и router, выбирающий небольшую часть экспертов для каждого токена. Это увеличивает общее число параметров без пропорционального роста вычислений на токен.

Экономия вычислений не равна экономии памяти: веса экспертов нужно хранить или перемещать. Routing, дисбаланс нагрузки и обмен между устройствами могут ухудшить latency. Поэтому сравнивают фактическую скорость и качество с плотной моделью при заданном batch и оборудовании.

Источник: arxiv.org.