Количество выбираемых экспертов, которые обрабатывают один токен в одном MoE-слое.
Включите JavaScript, чтобы пользоваться калькуляторами. Статьи можно читать без JavaScript.