Image · Source originale
RECHERCHE
Desktop-Delta Bench : évaluer la compréhension des GUI par les IA
Un nouveau benchmark teste la capacité des modèles d'IA à comprendre les transitions d'interface graphique sur desktop.
arXiv cs.AI · cs.LG · cs.CL·Abhishek Pillai, Samir Kumar Nayak, Yuan Chen·28 juillet 2026
Desktop-Delta Bench (DDB) est un benchmark hors-ligne évaluant si les agents d'ordinateur (CUAs) peuvent reconstruire les transitions causales des interfaces graphiques. Composé de 2 013 instances vérifiées sur Linux, il teste 3 dimensions de défaillance via 2 tâches complémentaires. Les évaluations sur 32 familles de modèles montrent des lacunes persistantes en matière de tri temporel et d'identification du contexte.
Chaleur 3
Pertinence 75
Nouveauté 65