Mixture of Experts (MoE)

Mixture of Experts (MoE) sélectionne quelques parties spécialisées pour chaque token.