Un cadre théorique explique la dynamique d'apprentissage du raisonnement inductif dans les Transformers

L'étude propose un cadre théorique unifiant plusieurs tâches inductives synthétiques (n-grammes en contexte, raisonnement multi-hop) pour expliquer l'émergence du raisonnement dans les Transformers. Les auteurs démontrent que la dynamique d'apprentissage des modèles d'attention peut être confinée à une variété invariante de faible dimension, décrite par quelques coordonnées interprétables plutôt que des millions de paramètres. Ce cadre permet d'analyser la compétition entre apprentissage en contexte et en poids, l'influence de l'initialisation sur le circuit gagnant, et de détecter automatiquement les circuits appris.