DemoPSD : auto-distillation de politique modulée par le désaccord

DemoPSD propose une approche d'auto-distillation sur politique (OPSD) pour les LLMs où l'adoption des signaux enseignant est sélective plutôt que systématique. Le framework cible un barycentre KL-inverse entre les distributions enseignant et étudiant, pondéré par leur désaccord token par token. Cette méthode réduit théoriquement les fuites d'information privilégiée et maintient la capacité d'exploration, avec des gains empiriques sur SciKnowEval.