Image · Source originale
RECHERCHE
Compression par signe pour Muon : SignMuon, MuonSign et les limites de l'error feedback
Une étude théorique et empirique révèle un paradoxe : la méthode de compression la plus efficace en pratique est aussi celle qui diverge en théorie.
arXiv cs.AI · cs.LG · cs.CL·Maria Smirnova, Alexey Kravatskiy·31 juillet 2026
Les chercheurs analysent la compression à un bit par paramètre de l'optimiseur Muon via signe élémentaire (SignMuon). Ils démontrent que placer le signe après l'oracle de minimisation linéaire diverge mathématiquement, même avec error feedback, alors que le placer avant permet des garanties de convergence prouvées. Paradoxalement, les expériences sur CIFAR-10 et nanoGPT montrent que la variante non convergente en théorie surpasse systématiquement les versions garanties.
Chaleur 8
Pertinence 45
Nouveauté 65