Le chant des sirènes : quand le contexte proximal éclipse les preuves distantes

Les LLM long-context supposent que la perte d'attention aux preuves distantes provient de la distance elle-même. Cette étude identifie le « Proximity Trap » : l'attention distante est surtout écrasée par la concurrence d'un contexte proximal abondant et non pertinent. Pour y remédier, les auteurs proposent LYRA, un mécanisme de matching directionnel t-distribué qui redistribue la masse d'attention vers les preuves pertinentes tout en préservant l'information positionnelle. Les évaluations sur LongBench-v2, RULER et LongBench montrent des améliorations constantes. ProxBench, un nouveau benchmark, est aussi introduit pour évaluer l'utilisation des preuves distantes sous interférence proximale croissante.