Toutes les news taguées avec ce sujet.
Un outil génère des polices monospace calées sur les tokens plutôt que sur les caractères, pour visualiser la tokenisation des LLM.
Une étude décompose BPE et UnigramLM en deux axes distincts pour identifier ce qui explique réellement leurs différences de performance.