Distill to Detect : révéler les biais cachés dans les LLM par distillation en cartouche

Des chercheurs proposent Distill to Detect (D2D), une méthode pour détecter les biais préférentiels dissimulés dans les LLM déployés en production. En distillant le décalage de distribution entre un modèle suspect et son modèle de base dans un adaptateur de préfixe KV-cache (« cartouche »), D2D amplifie le signal de biais jusqu'à le rendre visible dans le texte généré. Une formalisation théorique via la projection pondérée par Fisher appuie l'approche, validée empiriquement sur plusieurs types de biais.