azure-ai-proxy

Azure AI Proxy est un serveur modulaire et léger qui expose une interface API compatible avec Azure OpenAI tout en acheminant les requêtes via LiteLLM vers des modèles backends provenant de fournisseurs tels que DeepSeek, MIMO, Anthropic, Ollama et des points de terminaison personnalisés. Il permet aux développeurs d'utiliser des LLM non-Azure au sein d'outils et d'IDE (comme JetBrains avec GitHub Copilot) qui attendent le format Azure OpenAI. Le proxy prend en charge les chat completions, les embeddings, les completions héritées, la liste des modèles et la gestion des déploiements. Les fonctionnalités clés incluent la configuration multi-modèles via YAML, l'émulation de l'identité du modèle pour la compatibilité de l'interface utilisateur, un streaming amélioré avec gestion du keepalive et des timeouts, l'assainissement des appels d'outils, un mappage d'erreurs fluide, la journalisation de débogage et une authentification optionnelle par clé API. Les options d'installation comprennent pip, des scripts en une ligne pour Windows/macOS/Linux ou Docker. La configuration est gérée via un simple fichier config.yaml définissant l'hôte, le port, les timeouts, la journalisation et les paramètres par modèle, y compris les clés API, les URLs de base et les limites de tokens. La structure du projet est proprement modularisée avec des gestionnaires pour chaque type de point de terminaison et des middlewares pour l'authentification, le CORS et la journalisation. Il ne nécessite que les dépendances aiohttp, litellm et pyyaml. Le proxy est sous licence GPL v3 et maintenu par CarmJos, avec un soutien encouragé via GitHub Sponsors ou ifdian.net.