Des classifieurs d'images comme apprenants efficaces de représentations vidéo auto-supervisées

VideoMSN transforme les vidéos en « super images » (grilles de frames) et applique un réseau Siamois masqué avec un encodeur ViT partagé, sans décodeur. Partant de DINO-v3 et DeiT-v3, la méthode atteint l'état de l'art sur Kinetics-400, UCF101 et HMDB51 avec jusqu'à 160x moins d'époques de pré-entraînement vidéo. Elle montre aussi de bonnes performances en classification low-shot.