RLVR augmenté de démonstrations humaines pour corriger les dérives du fine-tuning par récompenses vérifiables

Le RLVR optimise uniquement ce qui est objectivement scorable, négligeant le style et la structure des sorties humaines, ce qui engendre effondrement de diversité et reward hacking. Les chercheurs du MIT proposent un framework adversarial où un discriminateur, entraîné en parallèle, distingue textes humains et textes générés, fournissant un signal d'apprentissage complémentaire. Sur la correction de bugs et la génération de récits, l'approche améliore les propriétés non vérifiables sans sacrifier la précision des baselines RLVR.