SceneBind : lier quoi et où entre vision, audio et langage

SceneBind est une représentation omni-modale combinant compréhension sémantique et 3D spatiale pour la vision, l'audio et le langage. Elle structure les scènes via des slots sémantico-spatiaux, palliant le manque de structure explicite des encodeurs actuels. Ce modèle atteint des performances state-of-the-art en retrieval spatial et permet du zero-shot transfer pour des tâches comme la localisation audio-visuelle.