Le routeur intérieur : révéler le routage natif de compétences d'un LLM figé

Les chercheurs montrent qu'un LLM figé contient déjà, dans ses passes avant, le signal nécessaire pour router entre différentes compétences. Leur méthode Gavel utilise deux projections linéaires entraînées pour lire ce signal en deux étapes : un coup d'œil rapide puis un verdict basé sur la vraisemblance du modèle. Sur Qwen3-32B, Gavel surpasse des pipelines de récupération ajoutant jusqu'à 16 milliards de paramètres externes, avec des gains allant jusqu'à 21,9 points.