Random Reshuffling surpasse la descente de gradient stochastique

Le Random Reshuffling (RR), variante populaire du SGD qui remélange les données à chaque époque, était jusqu'ici considéré comme une heuristique faute de garanties théoriques solides. Les théories existantes imposaient un pas d'apprentissage inférieur à 1/n et montraient un taux suboptimal pour un faible nombre d'époques. Ce travail lève ces deux restrictions et établit formellement que RR domine le SGD standard en optimisation convexe lisse.