llm-gateway

LLM Gateway est un serveur proxy unifié conçu pour simplifier les interactions avec plusieurs fournisseurs de Large Language Model (LLM). Il fournit un point de terminaison unique, compatible avec OpenAI, qui route les requêtes vers divers backends, notamment OpenAI, OpenRouter, Google Gemini et des instances locales comme Ollama. Les capacités clés incluent un mécanisme de fallback automatique qui tente d'utiliser des fournisseurs alternatifs si le fournisseur principal échoue, garantissant ainsi une haute disponibilité. La passerelle implémente également une limitation du débit par clé API pour éviter la surutilisation et fournit un point de terminaison de métriques complet pour suivre le nombre total de requêtes, les taux de réussite et la consommation de jetons à travers les différents fournisseurs. Elle est conçue pour un déploiement facile via Docker et peut servir de remplacement direct pour les configurations de clients OpenAI existantes en mettant simplement à jour l'URL de base. Les fonctionnalités prises en charge incluent les chat completions, les embeddings et la liste des modèles, avec des chaînes de fallback et des limites de requêtes par minute configurables.