L'illusion de robustesse : la précision globale masque des retournements de prédiction

Des chercheurs montrent que les LLM les plus performants semblent robustes à un contexte non pertinent quand on regarde la précision agrégée sur un benchmark. Mais cette stabilité cache une forte instabilité au niveau de chaque exemple : même des pseudo-mots dénués de sens peuvent inverser des prédictions, dégradant certaines réponses et en améliorant d'autres. Cet effet varie selon le type et la longueur du contexte, le calcul au moment du test et le stade de développement du modèle. Les auteurs plaident pour une évaluation de la fiabilité exemple par exemple plutôt qu'agrégée.