La correction de vulnérabilités par LLM : pourquoi le taux de compilation est une métrique trompeuse

Sur 203 fonctions vulnérables de Big-Vul et trois LLM open-source, les auteurs démontrent que le taux de compilation ignore les vraies améliorations, dépend surtout d'artefacts d'évaluation, varie fortement selon les options du compilateur, et inverse même le classement des modèles par rapport aux métriques de similarité. Utilisé comme cible d'optimisation, il favorise des patches vides ou des suppressions de code plutôt que de réelles corrections. Ils proposent diff_F1, une métrique centrée sur la zone modifiée, comme alternative plus fiable.