ROBORMBENCH : la fragilité des modèles de récompense vision-langage face aux paraphrases

Les auteurs introduisent ROBORMBENCH, un benchmark de 2 390 trajectoires réelles avec 21 673 paraphrases vérifiées, pour tester l'invariance des modèles vision-langage utilisés comme fonctions de récompense en robotique. Ils montrent que ces modèles sont largement instables face à des reformulations sémantiquement équivalentes, un problème que ni l'échelle ni le raisonnement explicite ne résolvent. Des modèles de récompense entraînés spécifiquement avec supervision ancrée sur les trajectoires s'avèrent nettement plus robustes.