Comment les données façonnent l'usage des fréquences RoPE : de l'échelle positionnelle à la généralisation en longueur

Les Rotary Position Embeddings (RoPE) offrent une grille fixe de fréquences positionnelles, mais les modèles entraînés les exploitent de façon très inégale. Les auteurs proposent une explication centrée sur les données : les fréquences RoPE sont sélectionnées pour correspondre à la structure de dépendance relative du corpus d'entraînement. Ils formalisent un compromis entre résolution et champ d'application, et montrent que la fréquence optimale évolue en 1/W pour une dépendance de largeur W. Ce principe relie la généralisation aux longs contextes à une auto-similarité approximative du langage naturel.