Objectif vs recherche : ce qui détermine vraiment la qualité d'un tokeniseur

Les chercheurs isolent objectif d'optimisation et procédure de recherche des tokeniseurs en créant deux nouveaux algorithmes couvrant les quatre combinaisons possibles. Les tests montrent que la procédure de recherche (bottom-up vs top-down), et non l'objectif, détermine principalement les performances en bits-per-byte, les tokeniseurs bottom-up étant systématiquement meilleurs. Sur BLiMP en revanche, aucune relation consistante n'apparaît.