Annotations séquentielles optimales pour l'évaluation off-policy

Les auteurs proposent une approche d'évaluation off-policy doublement robuste avec récompenses manquantes, optimisant les probabilités d'annotation sous budget limité. La méthode combine labels bon marché (type LLM-as-a-judge) et annotations expertes plus fiables mais coûteuses. Testée sur des données de terrain d'une ONG luttant contre le sans-abrisme et sur LMArena, elle réduit l'erreur RMSE de 17 à 68%.