Requential Coding : compression de modèle via données auto-générées

Le 'requential coding' utilise un modèle enseignant pour sélectionner des échantillons issus de la distribution de l'étudiant, ne codant que les divergences. La longueur du code devient indépendante du nombre de paramètres et de l'entropie des données. Appliqué aux LLM, il offre des garanties de généralisation supérieures aux méthodes de quantization classiques.