OUTILS · Hugging Face
Transformers prend désormais en charge les quants llama.cpp
La bibliothèque Transformers de Hugging Face intègre nativement les modèles quantifiés au format GGUF de llama.cpp.
Hugging Face annonce que sa bibliothèque Transformers peut désormais charger et exécuter directement les modèles quantifiés au format llama.cpp (GGUF). Cette intégration facilite l'utilisation de modèles compressés sans passer par des outils tiers, rapprochant l'écosystème Transformers de celui de l'inférence locale légère.