La perte de dispersion contrecarre la condensation des embeddings dans les petits LLM

Les petits modèles de langage souffrent d'un phénomène de condensation des embeddings, où les représentations vectorielles tendent à se regrouper dans un espace restreint, dégradant leurs performances. Les chercheurs proposent une fonction de perte dite « dispersion loss » qui force ces représentations à mieux se répartir dans l'espace latent. Cette approche améliore la qualité des embeddings sans modifier l'architecture du modèle.