Image · Source originale
OUTILS · NVIDIA
NVIDIA établit un record mondial de pré-entraînement MoE sur GB300 NVL72
Avec DeepSeek-V3 671B, NVIDIA atteint 1 648 TFLOPs par GPU sur GB300 NVL72, illustrant l'importance croissante de la communication inter-GPU.
NVIDIA revendique un record mondial de pré-entraînement pour un modèle mixture of experts (MoE) sur son architecture GB300 NVL72, avec DeepSeek-V3 671B atteignant 1 648 TFLOPs par GPU. L'entreprise souligne que la convergence vers le MoE déplace le goulot d'étranglement de l'entraînement à grande échelle vers la communication réseau entre milliers de GPU plutôt que le seul calcul.
Chaleur 0
Pertinence 55
Nouveauté 40