Image · Source originale
OUTILS · NVIDIA
TensorRT-LLM réalise le benchmark MLPerf Edge Agentic 6,4x plus vite
NVIDIA optimise l'inférence agentic en edge sur Jetson AGX Thor via TensorRT-LLM.
NVIDIA annonce que TensorRT-LLM a complété le benchmark MLPerf Edge Agentic 6,4 fois plus vite sur le Jetson AGX Thor. Cette performance vise à répondre aux exigences des agents IA sur véhicules et robots, nécessitant une génération de tokens rapide pour des raisonnements multi-étapes.
Chaleur 0
Pertinence 70
Nouveauté 50