Estimation des événements rares via désalignement itératif

Des chercheurs proposent une technique d'importance sampling qui perturbe les poids d'un modèle de langage pour construire une proposition différentiable, permettant une recherche par gradient dans l'espace des poids. Testée sur des modèles de 120M et 2,6B paramètres sur plus de 300 événements rares (jusqu'à 10⁻⁹), la méthode atteint des gains d'efficacité computationnelle supérieurs à 800× par rapport au Monte Carlo naïf.