L'illusion d'alignement dans les modèles de langage multimodaux

La similarité couche par couche dans les MLLMs est souvent interprétée comme une intégration progressive des contenus visuels. Ce travail montre que les métriques scalaires (CKA, SVCCA, MIR) échouent à distinguer un flux visuel corrompu d'un flux original sur 13 modèles. Ce phénomène, nommé « alignment illusion », provient de projections MLP anisotropes qui attirent les tokens vers des directions communes. Les auteurs proposent le principal-angle gap (PA gap), qui sépare cette similarité induite de la structure visuelle réelle et corrèle mieux avec la précision des tâches.