CompactionRL : apprentissage par renforcement avec compaction de contexte pour agents long-horizon

CompactionRL propose une méthode d'entraînement par renforcement pour agents LLM à long horizon, intégrant la compaction de contexte afin de dépasser les limites des fenêtres de contexte finies. L'approche optimise conjointement l'exécution des tâches et la génération de résumés via une normalisation de la perte au niveau token et une estimation d'avantage généralisée inter-trajectoires. Appliqué au modèle GLM-4.5-Air (106B-A30B), CompactionRL atteint 66,8 % sur SWE-bench Verified et 24,5 % sur Terminal-Bench 2.0. La méthode est déployée dans le pipeline RL du modèle GLM-5.2 (750B-A40B).