Visual Contrastive Self-Distillation

Les chercheurs proposent Visual Contrastive Self-Distillation (VCSD), une méthode de self-distillation on-policy pour modèles vision-langage. VCSD génère un signal d'apprentissage contrastif en comparant les distributions de probabilité d'un enseignant EMA conditionné sur l'image originale et sur une image dont le contenu est effacé. Sur le dataset ViRL39K, VCSD améliore les performances des modèles Qwen2-VL et Qwen2.5-VL sans nécessiter d'enseignant externe ni d'information privilégiée.