Test-Time Training pour la consistance de l'ordre modal dans les VLM

Une étude révèle que les vision-language models (VLM) sont sensibles à l'ordre de présentation des données, l'ordre 'image d'abord' surperformant systématiquement. Les chercheurs proposent une méthode de test-time training asymétrique qui réduit cet écart et améliore la performance globale. L'analyse par activation patching localise le défaut à une région précise du réseau.