llm-gateway

Manifest LLM Gateway est une passerelle LLM open source conçue pour les agents et applications d’IA. Elle regroupe les clés API, les abonnements et les modèles locaux en un seul point de terminaison compatible OpenAI, ce qui permet de router chaque requête vers le modèle approprié sans dépendance à un fournisseur. Ses capacités clés incluent le routage personnalisé entre clés API, abonnements, modèles locaux et fournisseurs personnalisés ; la journalisation complète du corps des messages de succès et d’erreur ; le suivi des coûts avec notifications et limites ; et le repli automatique vers différents modèles lorsque les requêtes échouent, y compris l’auto-réparation des requêtes incorrectes. Le projet prend en charge plus de 300 modèles via 35 connexions de fournisseurs intégrées, ainsi que tout point de terminaison personnalisé compatible OpenAI ou Anthropic. Les utilisateurs peuvent apporter leurs propres clés API, réutiliser l’un des 18 flux d’abonnement ou exécuter des modèles localement. Les fournisseurs incluent OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek, Mistral, Ollama, LM Studio, llama.cpp, OpenRouter, Hugging Face, et bien d’autres. Envoyer « model » : « auto » permet à Manifest de sélectionner le modèle. Les options de déploiement incluent une version cloud sur app.manifest.build, une image Docker auto-hébergée et des modèles de déploiement en un clic pour Railway, Render, DigitalOcean, AWS, GCP, Fly.io, Coolify, Easypanel, Heroku, Koyeb et Apple Containers. Le projet est sous licence MIT et fournit une documentation, un nœud communautaire n8n et une communauté Discord.