Image · Source originale
RECHERCHE · Hugging Face
Élagage des LLM à la manière d'un physicien : le retrait de blocs comme problème d'optimisation d'Ising
Une nouvelle méthode de structuration du pruning des LLM modélise la suppression de blocs comme un problème d'Ising, inspirée de la physique statistique pour optimiser le compromis performance-compression.
Des chercheurs proposent d'aborder l'élagage structurel des LLM sous l'angle de la physique statistique. Le retrait optimal de blocs de paramètres est formulé comme un problème d'optimisation de type Ising. Cette approche permet de chercher un compromis plus efficace entre la compression du modèle et la préservation de ses performances sur les benchmarks.
Chaleur 0
Pertinence 65
Nouveauté 78