Внимание с группировкой запросов

Внимание с группировкой запросов (Grouped-Query Attention, GQA) позволяет нескольким группам внимания использовать общую сохранённую информацию о предыдущих токенах.