Extension in-place du tokenizer pour les LLM pré-entraînés

Les chercheurs proposent une technique pour étendre le tokenizer d'un modèle pré-entraîné en continuant les fusions BPE sur un corpus multilingue, préservant les tokens existants et initialisant les nouveaux par moyenne des sous-tokens sources. Une adaptation en deux étapes (embeddings puis modèle complet) permet de retrouver la qualité du checkpoint d'origine. Appliquée à LFM2-8B-A1B, la méthode produit LFM2.5-8B-A1B avec un tokenizer 128K, réduisant fortement la fragmentation en hindi et vietnamien.