Performances de modèles à 1 000 milliards de paramètres avec un agent MoE de 35 milliards

Agents-A1 est un modèle MoE de 35 milliards de paramètres entraîné selon une recette en trois étapes : fine-tuning supervisé global, modèles enseignants spécialisés par domaine, puis distillation multi-enseignants avec alignement lexical saillant. L'approche mise sur la mise à l'échelle de l'horizon agentic — trajectoires longues de 45 K tokens en moyenne — plutôt que sur la taille du modèle. Sur plusieurs benchmarks long-horizon (SEAL-0, IFBench, HiPhO), il surpasse ou égale des modèles à 1 000 milliards de paramètres comme Kimi-K2 et DeepSeek-V4-pro.