Foreman : une gateway LLM auto-hébergée pour un routage de modèles orienté coût

Foreman est une gateway LLM open-source auto-hébergée qui orchestre le routage des requêtes vers différents modèles en fonction de critères de coût et de performance. L'outil vise à optimiser les dépenses d'inférence en sélectionnant automatiquement le modèle le plus adapté à chaque requête. Il s'installe sur sa propre infrastructure, offrant un contrôle total sur les données et les flux.