Количество экспертных блоков, из которых один MoE-слой может выбирать при обработке токена.
Включите JavaScript, чтобы пользоваться калькуляторами. Статьи можно читать без JavaScript.