Что такое Mixture of Experts (MoE) и какие у него плюсы и минусы?
Идея в том, чтобы каждый эксперт обучался на своей части задачи, а гейт динамически распределял вычисления, что позволяет масштабировать модели без пропорционального роста вычислительных затрат.
Читать ответ