VAORA : aligner le raisonnement visuel et l'action pour la physique interactive

VAORA (Visual Action Outcome Reasoning Alignment) propose deux récompenses complémentaires pour corriger les défaillances des VLMs en raisonnement physique interactif : une Visual Alignment Reward ancrant le raisonnement au contexte visuel, et une Visual-Action Alignment Reward liant le raisonnement aux conséquences visuelles de l'action. Ce mécanisme réduit les chaînes de pensée (CoT) hallucinnées et le décalage raisonnement-comportement. Les expériences sur PHYRE et Virtual Tool confirment une meilleure généralisation sur des tâches et environnements inédits.