La diversité des types permet aux Transformers de généraliser de façon compositionnelle

Les auteurs montrent que l'écart de performance observé entre généralisation lexicale et structurelle vient de la diversité des types dans les jeux de données existants, pas d'une limite inhérente aux Transformers. En créant des variantes linguistiquement diversifiées des datasets COGS et SLOG via Grammatical Framework, ils constatent que la diversité de types influence les deux formes de généralisation de manière équivalente, ce qui contredit l'hypothèse antérieure liant la difficulté à la divergence de composés.