Lychee-FD : modélisation hiérarchique acoustico-sémantique pour les SLM full-duplex

Les Spoken Language Models (SLM) full-duplex souffrent d'interférences entre modalités acoustique et sémantique lorsqu'elles partagent un espace de paramètres profond, générant des conflits de gradients. Lychee-FD introduit une séparation hiérarchique des paramètres dans les couches profondes tout en maintenant la cohérence cross-modalité via un canal d'alignement sémantique dédié. Les expériences montrent +7,4 % en Spoken QA et +28,5 % sur FullDuplexBench 1.5, sans perte d'efficacité à l'inférence.