Réplication spéculative de KV pour l'inférence LLM par pics

Cette approche propose une réplication spéculative du cache Key-Value pour gérer la charge bursty des LLM. En anticipant les besoins de calcul, elle réduit la latence et améliore le débit sans nécessiter de matériel spécifique.