Dépasser la barrière des 1.58 bits pour les LLM ternaires

Des chercheurs proposent une approche innovante pour briser la barrière théorique des 1.58 bits dans les modèles de langage ternaires. Cette technique de quantization vise à réduire drastiquement l'empreinte mémoire et les besoins de calcul. Les résultats expérimentaux montrent une préservation satisfaisante des capacités du modèle.