OpenAI met en évidence des problèmes de fiabilité dans SWE-Bench Pro

OpenAI publie une analyse critique de SWE-Bench Pro, l'un des benchmarks les plus utilisés pour évaluer les modèles d'IA sur des tâches de programmation. L'étude soulève des questions sur la fiabilité et la précision de cet outil d'évaluation. Ces conclusions remettent en cause la valeur des scores obtenus sur ce benchmark et appellent à une plus grande rigueur méthodologique dans l'évaluation des agents de codage.