Phases hors équilibre de l'auto-attention répulsive : chaos, condensation d'attention et localité émergente

Des chercheurs analysent un transformer récurrent minimal où l'attention devient répulsive via une carte de valeur négative. Selon la force de rétroaction γ et la dimension, le système traverse des phases variées : mouvement stable, bifurcations, chaos, condensation d'attention et fragmentation en clusters. Ces résultats formalisent des transitions dynamiques inédites dans les mécanismes d'attention.