Grouped-Query Attention (GQA)

GQA permet à plusieurs groupes de requêtes de partager les clés et valeurs des tokens précédents.