Auto-réflexion visuellement ancrée pour les modèles vision-langage via l'apprentissage par renforcement

Les grands modèles vision-langage (LVLM) peinent à ancrer leur auto-réflexion dans les entrées visuelles lors du raisonnement en chaîne de pensée (CoT). VRRL, un framework RL inédit, introduit deux mécanismes : le masquage aléatoire de préfixes de trajectoire pour forcer la récupération après des erreurs intermédiaires, et un tampon d'expérience replay exposant le modèle à des états d'échec diversifiés. Sur des benchmarks de localisation visuelle (tableaux, graphiques) et de navigation spatiale, VRRL améliore significativement la précision hors distribution face aux baselines RL et fine-tuning classiques.