4 items

#MoE

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
nvidiaheat 35
Modèles denses vs MoE : paramètres actifs, débit et critères de choix
NVIDIA détaille les compromis entre architectures denses et Mixture-of-Experts, à travers l'exemple de Nemotron 3.5 Lightning.
RECHERCHE
heat 45
Exploration de l'espace des experts en RL MoE
ESRL est un nouveau cadre qui optimise l'exploration des modèles MoE via le routage stochastique.
OUTILS
nvidiaheat 35
NVIDIA accélère l'entraînement dropless des modèles MoE dans JAX avec Transformer Engine
NVIDIA détaille une optimisation technique pour entraîner des modèles Mixture of Experts sans perte de tokens, via son Transformer Engine intégré à JAX.
RECHERCHE
heat 35
Combler l'écart coût-qualité des VLM documentaires : curation de données par difficulté et économie de déploiement
Un système de compréhension documentaire basé sur un VLM MoE compact réduit les coûts de plus de 80% face à l'annotation humaine, tout en battant des modèles bien plus gros.

4 items

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

RECHERCHE
nvidiaheat 35
Modèles denses vs MoE : paramètres actifs, débit et critères de choix
NVIDIA détaille les compromis entre architectures denses et Mixture-of-Experts, à travers l'exemple de Nemotron 3.5 Lightning.
RECHERCHE
heat 45
Exploration de l'espace des experts en RL MoE
ESRL est un nouveau cadre qui optimise l'exploration des modèles MoE via le routage stochastique.
OUTILS
nvidiaheat 35
NVIDIA accélère l'entraînement dropless des modèles MoE dans JAX avec Transformer Engine
NVIDIA détaille une optimisation technique pour entraîner des modèles Mixture of Experts sans perte de tokens, via son Transformer Engine intégré à JAX.
RECHERCHE
heat 35
Combler l'écart coût-qualité des VLM documentaires : curation de données par difficulté et économie de déploiement
Un système de compréhension documentaire basé sur un VLM MoE compact réduit les coûts de plus de 80% face à l'annotation humaine, tout en battant des modèles bien plus gros.