llm_router

Azure OpenAI Proxy est un routeur conçu pour adapter diverses versions d'API LLM à une interface commune compatible OpenAI. Il fournit une couche de gestion entre le client et les instances Azure OpenAI pour garantir une haute disponibilité et une utilisation contrôlée. Les capacités clés incluent : - **Routage et équilibrage de charge** : Prend en charge plusieurs instances Azure OpenAI avec des stratégies de routage incluant le basculement (failover), le pondéré et le round-robin. - **Contrôle du trafic** : Implémente une limitation automatique du débit basée sur les jetons par minute (TPM). - **Gestion des instances** : Fournit un ensemble complet de points de terminaison API pour ajouter, mettre à jour, supprimer et vérifier les instances, ainsi que pour surveiller leur état de santé et leurs mesures de performance. - **Flexibilité de configuration** : Utilise un système de configuration hiérarchique (YAML, variables d'environnement et SQLite) avec prise en charge du rechargement à chaud sans redémarrage du service. - **Persistance et fiabilité** : Utilise SQLite pour la gestion d'état et la persistance de la configuration, incluant l'historique des versions, les capacités de retour arrière (rollback) et des utilitaires de maintenance dédiés pour les sauvegardes et les vérifications de santé. - **Compatibilité API** : Prend en charge les points de terminaison OpenAI standard pour les chat completions, completions et embeddings.