Améliorer le goodput dans l'entraînement LLM à grande échelle avec le parallélisme tensoriel non uniforme

L'entraînement de LLMs à très grande échelle sur des milliers de GPU expose les clusters à des interruptions imprévues qui dégradent significativement le goodput global. NVIDIA propose une technique de parallélisme tensoriel non uniforme permettant de redistribuer dynamiquement la charge de calcul lorsqu'un GPU devient indisponible. Cette approche vise à réduire l'impact des pannes matérielles sur les jobs d'entraînement longs sans interrompre l'ensemble du processus.