Optimisation de l'inférence pour MiMo v2.5 : maximiser l'efficacité du Hybrid SWA

Xiaomi publie un billet technique sur les optimisations d'inférence appliquées à MiMo v2.5, son modèle de raisonnement. L'article se concentre sur l'architecture Hybrid SWA (Sliding Window Attention), présentée comme un levier clé pour améliorer l'efficacité à l'inférence. Les ingénieurs y décrivent les ajustements réalisés pour pousser les performances au maximum tout en maîtrisant les coûts computationnels.