Pilotage minimalement invasif des modèles de langage

MISVO optimise des vecteurs de steering appliqués aux états cachés finaux d'un modèle de langage gelé, en pénalisant les interventions via la géométrie KL locale. La méthode dérive une décomposition exacte du gradient KL et utilise un substitut de Fisher pour optimiser des interventions position-spécifiques sans mise à jour des paramètres. Sur des modèles de 1B à 14B paramètres, MISVO obtient la meilleure récompense moyenne dans six configurations sur sept, avec une diversité et cohérence proches de Best-of-N.