Dutch Books pour les modèles de langage

Ce papier évalue la cohérence des prévisions probabilistes des modèles de langage via une méthode basée sur le théorème de de Finetti. En calculant le profit maximal d'un arbitrage (Dutch Book) sur des données de rendements boursiers, les auteurs révèlent une incohérence significative des prédictions. Cette incohérence s'accentue avec la complexité des relations logiques et l'ajout de détails contextuels parasites.