Toutes les news taguées avec ce sujet.
Une méthode de régularisation sans état qui améliore la compressibilité des réseaux de neurones avec moins de 1 % de surcoût à l'entraînement.
Des chercheurs montrent qu'une pénalité de norme simple peut accélérer le grokking jusqu'à 6x en contraignant les représentations cachées sur une hypersphère.