Fidélité au refus : un audit causal des sélecteurs de neurones

Des chercheurs proposent deux audits causaux basés sur la mise à zéro de rangées de neurones pour évaluer la validité des méthodes d'attribution dans cinq LLMs. Les méthodes d'attribution surpassent les baselines d'activation et de magnitude pour identifier les rangées dispensables. L'étude montre que le refus de contenu nuisible réside dans un sous-espace redondant : différentes méthodes l'installent via des ensembles de rangées largement disjoints. Les sélecteurs très stables en rang peuvent être parmi les moins valides causalement.