Question-réponse vidéo appuyée sur des preuves visuelles vérifiables

Les Video LLMs actuels répondent à des questions sans fournir de justification visuelle vérifiable. Les chercheurs proposent E-VQA, une tâche exigeant une réponse sémantique accompagnée de preuves spatio-temporelles précises (segments temporels et masques d'objets suivis). Le benchmark ST-Evidence révèle un découplage entre précision des réponses et véritable perception visuelle, non résolu par le simple passage à l'échelle. Un dataset de 160k exemples, ST-Evidence-Instruct, permet d'améliorer significativement les modèles fine-tunés par rapport aux baselines UniPixel.