SPEARBench : un benchmark pour évaluer le naturel des modèles speech-to-speech en streaming

SPEARBench est un benchmark conçu pour évaluer le naturel des modèles de langage speech-to-speech en streaming. Il couvre la latence, les interruptions, la qualité audio, la robustesse ASR, la cohérence linguistique et dialectale, l'adaptation émotionnelle et la dynamique interpersonnelle. Construit à partir du corpus Seamless Interaction, il inclut des réponses humaines comme référence. Les résultats montrent que les modèles actuels atteignent une bonne qualité de signal mais restent en deçà du comportement conversationnel humain sur plusieurs axes.