Interaction on-policy en imitation learning : quand aide-t-elle vraiment ?

Les auteurs analysent pourquoi l'interaction interactive avec l'expert et l'estimation de fonction de valeur améliorent l'imitation learning face au behavior cloning classique. Ils démontrent que l'interaction permet de se contenter de représenter la fonction de valeur de l'expert plutôt que sa politique complète, et introduisent OVI, un algorithme statistiquement et computationnellement efficace. Un résultat négatif complémentaire prouve que l'interaction est nécessaire : sans elle, tout algorithme offline doit s'adapter à la complexité de la politique experte.