5 items

#MoE

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

OUTILS
nvidiaheat 45
NVIDIA établit un record mondial de pré-entraînement MoE sur GB300 NVL72
Avec DeepSeek-V3 671B, NVIDIA atteint 1 648 TFLOPs par GPU sur GB300 NVL72, illustrant l'importance croissante de la communication inter-GPU.
RECHERCHE
heat 35
PagedWeight : servir les LLM MoE efficacement grâce à une quantification dynamique adaptée à la qualité
Une nouvelle méthode de gestion mémoire pour les modèles MoE promet jusqu'à 72% d'économies GPU sans perte de précision.
OUTILS
huggingfaceheat 82
Tencent/Hy3 : un modèle MoE 295B rivalise avec les SOTA à l'échelle du trillion
Tencent publie Hy3, un modèle MoE de 295 milliards de paramètres qui affiche des performances comparables aux modèles de taille trillion.
OPINION
heat 42
Largeur vs. profondeur : spéculations sur la marge dans les LLM
Un essai de réflexion sur le compromis fondamental entre largeur (MoE, parallélisme) et profondeur (chaînes de raisonnement) dans l'architecture des modèles de langage.
RECHERCHE
heat 72
Performances de modèles à 1 000 milliards de paramètres avec un agent MoE de 35 milliards
Agents-A1 démontre qu'élargir l'horizon agentic d'un modèle MoE 35B suffit à rivaliser avec des LLM mille fois plus grands.

5 items

Toutes les news taguées avec ce sujet.

Chronologie · 60 derniers jours

OUTILS
nvidiaheat 45
NVIDIA établit un record mondial de pré-entraînement MoE sur GB300 NVL72
Avec DeepSeek-V3 671B, NVIDIA atteint 1 648 TFLOPs par GPU sur GB300 NVL72, illustrant l'importance croissante de la communication inter-GPU.
RECHERCHE
heat 35
PagedWeight : servir les LLM MoE efficacement grâce à une quantification dynamique adaptée à la qualité
Une nouvelle méthode de gestion mémoire pour les modèles MoE promet jusqu'à 72% d'économies GPU sans perte de précision.
OUTILS
huggingfaceheat 82
Tencent/Hy3 : un modèle MoE 295B rivalise avec les SOTA à l'échelle du trillion
Tencent publie Hy3, un modèle MoE de 295 milliards de paramètres qui affiche des performances comparables aux modèles de taille trillion.
OPINION
heat 42
Largeur vs. profondeur : spéculations sur la marge dans les LLM
Un essai de réflexion sur le compromis fondamental entre largeur (MoE, parallélisme) et profondeur (chaînes de raisonnement) dans l'architecture des modèles de langage.
RECHERCHE
heat 72
Performances de modèles à 1 000 milliards de paramètres avec un agent MoE de 35 milliards
Agents-A1 démontre qu'élargir l'horizon agentic d'un modèle MoE 35B suffit à rivaliser avec des LLM mille fois plus grands.