La couleur canonique comme sonde pour évaluer la conceptualisation dans les encodeurs visuels et VLMs

Les chercheurs utilisent la couleur canonique des objets (ex : banane jaune) comme test contrôlé pour mesurer si les encodeurs visuels encodent des informations conceptuelles au-delà du signal visuel immédiat. Résultat : la couleur typique reste décodable même sur des images en niveaux de gris, et est corrélée à l'identité prédite de l'objet. Le post-entraînement des VLMs a un effet notable, parfois surprenant, sur cette décodabilité au sein de l'encodeur visuel.