Mixture of Experts (MoE)

Mixture of Experts (MoE) seleciona algumas partes especializadas para cada token.