Évaluation empirique des performances hors distribution des modèles fondation tabulaires

Une étude évalue neuf Tabular Foundation Models (dont TabPFNv2/v2.5/v2.6/v3, TabICL, Mitra, LimiX, TabFM) sur trois jeux de données réels présentant des shifts de type label, socio-économique et géographique. Tous les modèles voient leurs performances se dégrader hors distribution, avec des écarts allant de 0,003 à 0,060 selon le type de shift. Les auteurs relèvent aussi un problème de scalabilité : les modèles les plus performants exigent des ressources mémoire et calcul difficiles à déployer en pratique.