ConvMem : une mémoire convolutionnelle pour le raisonnement en contexte long

ConvMem reformule le raisonnement en contexte long comme une convolution hiérarchique, où un LLM sert de noyau résumant des segments de texte de façon arborescente plutôt que linéaire. Grâce aux strides configurables, connexions résiduelles et convolution multi-noyaux, la méthode limite l'accumulation d'erreurs et permet une forte parallélisation. Sans entraînement par RL, elle surpasse les baselines existantes sur RULER-HotpotQA et RULER-2WikiMultiHopQA tout en évitant le surapprentissage.