Image · Source originale
RECHERCHE
Décoder les Transformers bouclés en mieux, presque gratuitement
Une méthode de décodage contrastif sans entraînement exploite les états intermédiaires des Transformers bouclés pour gagner en précision et en efficacité.
arXiv cs.AI · cs.LG · cs.CL·Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip·1 octobre 2026
LoopCD contraste la prédiction finale d'un Transformer bouclé avec un passage récurrent antérieur pour guider le choix des tokens, sans modèle auxiliaire ni entraînement supplémentaire. Sur quatre familles de Transformers bouclés, la méthode améliore significativement les performances : le pass@1 d'Ouro-2.6B-Thinking sur AIME 2024 passe de 61,88% à 73,33%. Elle permet aussi de réduire de moitié le nombre de boucles récurrentes tout en égalant les performances de base, diminuant les FLOPs de 22,5% à 48,2%.
Chaleur 5
Pertinence 55
Nouveauté 70