Toutes les news taguées avec ce sujet.
Un nouvel optimiseur réduit de 174× la mémoire d'état par rapport à AdamW8bit, rendant possible le fine-tuning complet de modèles 30-32B sur du matériel limité.
Un framework sans entraînement qui accélère les LLMs de diffusion en s'attaquant au goulot d'étranglement mémoire du cache KV.