Mezcla de expertos

Mezcla de expertos (Mixture of Experts, MoE) es un diseño que elige unas pocas partes expertas para procesar cada token.