azure-ai-proxy

Azure AI Proxyは、Azure OpenAI互換のAPIインターフェースを公開し、LiteLLMを通じてDeepSeek、MIMO、Anthropic、Ollama、およびカスタムエンドポイントを含むプロバイダーのバックエンドモデルにリクエストをルーティングする、軽量でモジュール化されたサーバーです。これにより、開発者はAzure OpenAI形式を想定しているツールやIDE（GitHub Copilotを搭載したJetBrainsなど）内で、Azure以外のLLMを使用できるようになります。このプロキシは、チャット完了、埋め込み、レガシー完了、モデル一覧、およびデプロイメント管理をサポートしています。主な機能には、YAMLによるマルチモデル設定、UI互換性のためのモデルアイデンティティ・エミュレーション、keepaliveおよびタイムアウト処理を備えた強化されたストリーミング、ツールコールのサニタイズ、適切なエラーマッピング、デバッグログ、およびオプションのAPIキー認証が含まれます。インストールオプションには、pip、Windows/macOS/Linux用のワンライナースクリプト、またはDockerがあります。設定は、ホスト、ポート、タイムアウト、ロギング、およびAPIキー、ベースURL、トークン制限を含むモデルごとのパラメータを定義するシンプルなconfig.yamlファイルを通じて管理されます。プロジェクト構造は、エンドポイントタイプごとのハンドラーと、認証、CORS、ロギングのためのミドルウェアによってクリーンにモジュール化されています。依存関係はaiohttp、litellm、pyyamlのみです。このプロキシはGPL v3ライセンスの下で提供され、CarmJosによってメンテナンスされており、GitHub Sponsorsまたはifdian.netを通じたサポートが推奨されています。