Généralisation de distance dans les transformers : l'utilité des PE

Ce papier explore la généralisation de distance, mesurant les performances quand les distances entre tokens varient entre entraînement et inférence, à longueur fixe. Via des tâches de copie synthétiques, les auteurs évaluent l'impact de schémas comme RoPE et ALiBi, la diversité des données et le transfert d'apprentissage.