Image · Source originale
RECHERCHE
SAM et Muon : robustesse et norme spectrale
L'optimisation matrix-aware et SAM combinées à Muon améliorent la généralisation sur ImageNet.
arXiv cs.AI · cs.LG · cs.CL·Wenzhi Zhong, Edward Milsom, Michael Murray·28 juillet 2026
Cette recherche explore une géométrie matrix-aware pour Sharpness-Aware Minimization (SAM), introduisant une perturbation spectrale par couche. Expérimentée sur ImageNet-1K avec ViT-Small/16 et ResNet-50, l'association d'une étape interne spectrale avec une étape externe Muon surpasse les méthodes existantes.
Chaleur 2
Pertinence 60
Nouveauté 65