Nécessaire ou suffisant ? Évaluer les explications des LLM par des preuves comportementales

Les chercheurs évaluent, sur huit modèles Claude, GPT et Gemini, si les facteurs explicatifs cités par les LLM sont nécessaires ou suffisants pour expliquer leurs décisions dans deux scénarios (recommandation de conseillers, modération de prompts). Les corrélations entre le classement cité et les scores comportementaux réels restent faibles à modérées (0,35 à 0,58), et un facteur non cité surpasse parfois le facteur cité le moins bien classé dans plus de la moitié des cas.