llm-router

LLM Router est une application FastAPI conçue pour agir comme un proxy unifié pour plusieurs backends d'IA tout en maintenant une compatibilité totale avec l'API OpenAI Chat Completions. Il permet aux développeurs d'acheminer les requêtes vers divers fournisseurs — notamment OpenAI, Cerebras, DeepInfra et des instances locales Ollama — en utilisant un système basé sur la priorité avec basculement automatique. Les capacités clés incluent : - Routage Multi-Backend : Basculez sans interruption entre différents services d'IA en fonction de la disponibilité et de la priorité. - Compatibilité OpenAI : Fonctionne comme un remplacement direct pour les applications existantes basées sur OpenAI en changeant simplement l'URL de base. - Fonctionnalités de Résilience : Implémente un basculement automatique vers des backends secondaires si le service primaire échoue ou atteint les limites de débit. - Gestion du Trafic : Dispose d'un système de limitation du débit intégré utilisant un algorithme de fenêtre glissante et prend en charge plusieurs clés API pour l'authentification. - Surveillance et Statistiques : Fournit des points de terminaison dédiés pour les vérifications de santé, l'état du backend et les métriques d'utilisation. - Configuration Flexible : Prend en charge la configuration basée sur l'environnement ou des règles de routage avancées basées sur JSON. L'outil est particulièrement utile pour les développeurs cherchant à accroître la fiabilité de leurs applications alimentées par l'IA en diversifiant leurs fournisseurs de modèles sans modifier leur code source.