Adaptation et récupération sélectives par espace d'états pour le raisonnement des LLM

Les auteurs proposent MaLoRA et MaRA, deux variantes de LoRA intégrant une récurrence de type espace d'états, respectivement au niveau du token et du contexte. Testées sur trois backbones figés (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) et deux benchmarks de raisonnement multi-hop, ces méthodes améliorent l'accuracy de +6,8 F1 en moyenne, jusqu'à +9,3 F1 sur la configuration la plus difficile, par rapport au LoRA classique.