Abstention et filtrage du bruit : deux primitives manquantes de l'attention softmax

Les auteurs montrent que le gating de la voie de valeur dans l'attention apporte deux bénéfices distincts : l'abstention, qui permet à une tête d'attention de ne rien produire, et le filtrage du bruit, qui supprime les interférences des features superposées. Sur des modèles de 10M à 350M de paramètres, l'abstention domine aux petites échelles tandis que le filtrage du bruit devient prédominant à plus grande échelle. Le meilleur modèle combine toujours les deux primitives, avec un coût en paramètres négligeable et compatibilité avec le cache KV.