TREK : distillation pour l'exploration, renforcement pour l'affinement

TREK (Teacher-Routed Exploration via Forward KL) est une procédure en deux étapes qui utilise la distillation non pas pour l'imitation mais pour élargir le support d'exploration du modèle étudiant. Sur les prompts difficiles à faible taux de réussite, un teacher (boîte noire ou blanche) génère des solutions vérifiées, sélectionnées par vraisemblance et intégrées via KL forward avant un retour au GRPO standard. Sur Qwen3-8B, TREK améliore l'AIME 2025 de 36,9 à 40,3 et l'AIME 2024 de 47,9 à 51,1 (avg@16), avec des gains également constatés sur les tâches agentiques.