RECHERCHE
BabyLM Augustinien : limites de l'apprentissage par ostension
L'initialisation visuelle des embeddings influence durablement un petit modèle mais n'améliore pas ses performances grammaticales.
arXiv cs.AI · cs.LG · cs.CL·Lisa Bylinina·10 septembre 2026
Cette étude initialise visuellement un petit modèle DeBERTa en s'inspirant de Saint Augustin. L'empreinte visuelle persiste, sans améliorer les benchmarks grammaticaux, hormis pour la connaissance des propriétés d'objets où l'avantage est confirmé et transférable.