Les représentations verbalisables forment un espace de travail global dans les LLM

Des chercheurs de Transformer Circuits montrent que les représentations internes verbalisables des modèles de langage s'organisent en un espace de travail global, un concept emprunté à la théorie cognitive de Bernard Baars. Cette architecture émergente suggère que les LLM partagent certains mécanismes fonctionnels avec le traitement de l'information consciente chez l'humain. Les résultats apportent un éclairage nouveau sur l'interprétabilité mécaniste des transformers.