AdviSD : apprendre à conseiller les LLM frontières via self-distillation multi-tours ciblée

AdviSD combine reinforcement learning basé sur les résultats et self-distillation sélective pour entraîner un modèle conseiller (advisor) qui pilote un exécuteur LLM figé via des conseils en langage naturel. La méthode sélectionne les corrections à apprendre selon l'écart de score qu'elles produisent, sans nécessiter les probabilités de l'exécuteur ni des rollouts supplémentaires. Avec des advisors Qwen3-8B pour Gemini et Claude, AdviSD dépasse advisor-GRPO de 4,2 à 6,4 points sur BFCL-v3 et généralise à des tâches hors domaine et à d'autres familles de modèles.