Robustesse aux attaques typographiques par localisation de concepts sans entraînement

Les modèles CLIP, encodeurs visuels de base des grands modèles vision-langage, sont vulnérables aux attaques typographiques : du texte non pertinent dans une image biaise leurs représentations vers le sens lexical plutôt que sémantique visuel. Les auteurs proposent une méthode d'interprétabilité mécaniste sans entraînement, fondée sur l'analyse probabiliste et le circuit mining, pour isoler les têtes d'attention du Vision Transformer (ViT) qui encodent excessivement l'information lexicale. Des interventions ciblées sur ces circuits — comme l'ajustement sélectif des poids d'attention — améliorent significativement la robustesse en classification d'objets, surpassant les méthodes supervisées existantes.