Image · Source originale
RECHERCHE
Croissance de modèle, récursion et opérateurs de bordure : leviers pour changer les exposants d'échelle
Des interventions architecturales permettraient de modifier les lois d'échelle, avec des gains de calcul croissants selon la taille du modèle.
arXiv cs.AI · cs.LG · cs.CL·Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson·16 septembre 2026
L'étude montre que des modifications architecturales, comme les transformers en boucle (recursive depth) ou l'ajout d'opérateurs de bordure, peuvent changer les exposants des lois d'échelle plutôt que suivre une courbe fixe. Un modèle à croissance de 7,4B paramètres égale GPT-3 13B sur CORE avec environ 20x moins de calcul. En contexte data-constrained, augmenter le nombre de boucles avec l'échelle s'avère compute-optimal.
Chaleur 0
Pertinence 70
Nouveauté 80