Fidélité des substituts : quand les LLM ouverts peuvent-ils expliquer les modèles fermés ?

La recherche en interprétabilité mécaniste exige un accès complet aux paramètres internes, inaccessibles pour la plupart des grands modèles commerciaux. Sur onze modèles issus de quatre familles (Llama, Qwen, GPT, Gemini), les auteurs montrent que l'accord au niveau des prédictions surestime largement l'accord au niveau des attributions causales. Ils documentent une « inversion accès-validité » : les signaux white-box sont stables entre modèles mais peu prédictifs des attributions causales, mieux capturées par les ablations black-box. L'interprétabilité mécaniste ne se transfère donc pas automatiquement d'un modèle ouvert vers un modèle fermé.