Mixture of Experts (MoE)

Mixture of Experts (MoE) wählt für jeden Token einige spezialisierte Modellteile aus.