Image · Source originale
RECHERCHE
Décomposer l'évolution des représentations dans les Transformers par analyse directionnelle
Une nouvelle géométrie fonctionnelle décompose les mises à jour internes des Transformers en composantes parallèles et perpendiculaires, avec des implications concrètes.
arXiv cs.AI · cs.LG · cs.CL·Shwai He, Haichao Zhang, Shen Yan·14 septembre 2026
Les chercheurs décomposent les transformations apprises dans les Transformers en composantes parallèles et perpendiculaires à la direction de la représentation. Cette analyse révèle une asymétrie selon l'espace concerné et permet de diagnostiquer les erreurs de compression, d'améliorer l'édition de modèles et d'optimiser le pré-entraînement en supprimant certaines composantes parallèles.
Chaleur 0
Pertinence 45
Nouveauté 70