Механизм внимания

Внимание — механизм, с помощью которого модель определяет, какие доступные токены полезны при обработке очередного токена.