Image · Source originale
RECHERCHE
Linéarisation des Transformers : analyse des mécanismes clés pour maintenir la qualité
Des chercheurs identifient pourquoi certaines méthodes de linéarisation préservent mieux la qualité des LLMs, avec des résultats probants jusqu'à 32B paramètres.
arXiv cs.AI · cs.LG · cs.CL·Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi·8 juillet 2026
L'attention causale en O(n²) constitue un goulot d'étranglement pour l'inférence en long contexte. Cette étude isole l'effet du design de mise à jour d'état dans un régime backbone gelé, montrant que le softmax repose sur des projections orthogonales de rang 1 dépendantes des clés. Des interventions structurelles (sink tokens, convolutions courtes, cache routing à budget fixe) réduisent l'écart résiduel, surpassant les baselines existantes sur MMLU avec LLaMA et Qwen jusqu'à 32B paramètres.
Chaleur 0
Pertinence 72
Nouveauté 68