Pré-entraînement visuel scalable pour l'intelligence des modèles de langage

Les chercheurs remettent en question l'idée que les LLM doivent être entraînés uniquement sur du texte, en montrant que figures, équations et mises en page contiennent des informations perdues lors de la conversion en texte brut. Leur étude systématique de pré-entraînement visuel non supervisé, appliquée directement sur des documents sans extraction textuelle, surpasse constamment le pré-entraînement texte-only sur plusieurs backbones et benchmarks.