Apprentissage par imitation avec critique en langage naturel à partir de démonstrations sous-optimales

Les approches classiques d'imitation learning à partir de démonstrations sous-optimales s'appuient sur des signaux scalaires (scores de confiance, poids d'importance) qui ne capturent pas le raisonnement intermédiaire. Ce travail propose un cadre de critique en langage naturel qui construit des labels textuels décrivant les comportements sous-optimaux et fournissant des corrections détaillées. Deux variantes sont proposées : LC-BC et LC-DP, appliquées respectivement au behavior cloning et aux diffusion policies. Les évaluations sur des tâches de navigation, manipulation et gameplay montrent des gains constants sur les baselines RL offline.