Super Weights dans les LLMs et l'échec de l'entraînement sélectif

Des travaux récents ont identifié des « Super Weights », paramètres individuels dont la suppression dégrade massivement les performances des LLMs. Cette étude montre que cibler ces paramètres en entraînement sélectif fait chuter la précision au niveau d'une réponse aléatoire sur OLMo-1B et OLMo-7B. En revanche, LoRA — qui met à jour l'ensemble d'une couche via une décomposition rang-faible — réussit avec seulement 0,16 % des paramètres. Conclusion : importance d'un paramètre n'implique pas son entraînabilité en isolation.