Co-LMLM : des LLM à mémoire limitée avec requêtes continues

Co-LMLM propose une variante des Limited Memory Language Models (LMLM) où une base de connaissances externe est interrogée via des clés vectorielles continues, abandonnant les requêtes relationnelles classiques. Un pipeline d'annotation détecte automatiquement les passages factuels dans des textes arbitraires, sans se limiter à Wikipedia. À 360M de paramètres, le modèle affiche une perplexité inférieure à des modèles entraînés sur 40 fois plus de données, et des performances factuelles comparables à GPT-4o-mini.