Graph Convolutional Attention : une perspective spectrale sur le débruitage et la diffusion de graphes

Des chercheurs montrent que l'attention linéaire est sous-optimale pour le débruitage de graphes, car elle ne peut apprendre qu'un filtre spectral moyen sur la distribution d'entraînement. Ils introduisent la Spectral Attention, puis en dérivent Graph Convolutional Attention (GCA), une réalisation permutation-équivariante qui implémente le débruitage spectral via des requêtes et clés filtrées par graphe. GCA surpasse théoriquement et empiriquement l'attention linéaire, avec des gains corrélés à la diversité spectrale de la distribution.