Toutes les news taguées avec ce sujet.
MMOE adapte les principes des MoE de LLM aux modèles de diffusion pour améliorer convergence et qualité.
Tests de performance du modèle Qwen 3.6 35B MoE (3B actifs) exécuté localement sur carte graphique NVIDIA RTX 3090.
Le laboratoire chinois Moonshot AI met en ligne sur Hugging Face une nouvelle famille de modèles multimodaux légers à architecture MoE.
Moonshot AI dévoile Kimi K3, un modèle MoE de 2,8T paramètres performant, dont les poids seront ouverts le 27 juillet.
Thinking Machines Lab dévoile Inkling, un modèle MoE multimodal open Apache 2.0, accompagné d'une version légère Inkling-Small.
Cette approche remplace les décodeurs autoregressifs par un modèle de diffusion discret entraîné sur seulement 0,16 % des paramètres.
Le laboratoire chinois Moonshot AI met en ligne sur Hugging Face une collection de modèles baptisée Kimi-Linear-A3B.