Instabilité de l'optimisation scale-invariant

Ce papier établit une loi discrète exacte régissant l'interaction entre le learning rate et le weight decay dans les réseaux de neurones scale-invariants. L'analyse révèle une instabilité intrinsèque de l'équilibre et démontre pourquoi les méthodes adaptatives offrent une stabilisation plus faible que les autres optimiseurs.