Image · Source originale
RECHERCHE · NVIDIA
NVIDIA repense l'attention pour accélérer l'inférence à contexte long
Face à la montée des workloads agentiques et à contexte long, NVIDIA plaide pour une co-conception de l'attention et du hardware GPU.
Avec l'essor des workloads agentiques, les contextes s'allongent et le mécanisme d'attention accapare une part croissante du temps d'inférence. NVIDIA propose de concevoir l'architecture des modèles en fonction de l'exécution GPU, une approche de co-design visant à optimiser les performances d'inférence.
Chaleur 9
Pertinence 65
Nouveauté 45