Toutes les news taguées avec ce sujet.
Un nouvel optimiseur réduit de 174× la mémoire d'état par rapport à AdamW8bit, rendant possible le fine-tuning complet de modèles 30-32B sur du matériel limité.