PAIChecker : détecter les désalignements PR-Issue dans les benchmarks type SWE-Bench

Les auteurs analysent SWE-bench Verified et identifient cinq patterns de désalignement entre PR et issue liée dans onze scénarios précis, touchant 13,6% des instances. Ils proposent PAIChecker, un système multi-agents en trois phases combinant identification de patterns, synthèse d'étiquettes croisées et validation au niveau du code. Sur SWE-Gym et SWE-bench Multilingual, l'outil atteint jusqu'à 92,12% et 91,67% de précision binaire selon les backbones LLM testés.