SAS : attention par épinglage optimisée end-to-end

SAS propose un mécanisme d'attention par épinglage (gated sparse attention) optimisé end-to-end pour réduire les coûdes des Transformers. Contrairement aux approches existantes qui utilisent une sélection Top-K bloquant les gradients, SAS injecte des scores continus dans les logits attentionnels. Cela permet une mise à jour directe du sélecteur via la perte de modélisation du langage, préservant les priorités relatives pour un meilleur usage du budget contextuel.