Frugon : identifier quels appels LLM pourraient être traités par un modèle moins coûteux

Frugon est un outil local sous licence MIT qui analyse les traces d'appels LLM d'une application pour détecter lesquels pourraient être délégués à un modèle moins cher sans perte de qualité significative. L'objectif est d'optimiser les coûts d'inférence en orientant automatiquement les requêtes simples vers des modèles plus légers. L'outil fonctionne entièrement en local, sans transfert de données vers des services tiers.