Un décodage spéculatif par recherche de motifs plus rapide dans llama.cpp

L'article présente une amélioration du mécanisme de « prompt lookup decoding » dans llama.cpp, une technique de décodage spéculatif qui accélère l'inférence en réutilisant des séquences déjà présentes dans le prompt plutôt qu'un modèle brouillon séparé. L'auteur explique les optimisations apportées et leur impact sur les performances.