Que apprend un modèle de diffusion discret ?

Les auteurs établissent un cadre théorique unifié pour les modèles de diffusion discrets en temps continu (CTMC), prouvant le théorème de l'Oracle Distance : la negative ELBO équivaut exactement à l'entropie des données plus la divergence KL de chemin entre le processus inverse oracle et le modèle appris. Ce résultat identifie l'optimiseur unique comme l'espérance conditionnelle du taux de saut inverse, et unifie les paramétrisations dénoiser, cavity et score. Le framework réconcilie des modèles existants (MDM, UDM, SEDD, GIDD) et explique pourquoi certaines paramétrisations divergent à l'initialisation.