llm-router

LLM-Routerは、さまざまな大規模言語モデル（LLM）プロバイダを統一されたOpenAI互換APIに統合するためのプロダクション対応ゲートウェイです。OpenAI、DeepSeek、AnthropicなどのプロバイダやOllamaのようなローカルモデル間をクライアントコードの変更なしで切り替えられます。非同期アーキテクチャに基づき、コネクションプール、リクエストキャッシュ、Server-Sent Events（SSE）によるリアルタイムレスポンスストリーミングを実現しています。主要なエンタープライズ機能にはAPIキー認証、レート制限、リクエスト検証、動的設定のホットリロードが含まれます。監視と保守のため、組み込みヘルスチェック、Prometheusメトリクス、構造化ログを提供します。デプロイメントはDockerおよびKubernetesマニフェストを通じて簡素化され、高負荷の生産環境に適しています。