llm-gateway

Inja LLM Gatewayは、大規模言語モデルプロバイダー向けの軽量で依存関係のないAPIゲートウェイです。OpenAI Chat Completions、Anthropic Messages、またはネイティブのGeminiダイアレクトでリクエストを受け付け、OpenAI、Anthropic、Google、DeepSeek、xAI、Moonshot、OpenRouter、vLLMなどを含む任意の設定済みアップストリームプロバイダーにルーティングします。同一ダイアレクトのトラフィックはほぼそのまま通過し、クロスダイアレクトのリクエストは自動的に翻訳され、構造化出力、ツール使用、思考ブロックをサポートします。 このゲートウェイは完全にステートレスで、データベース、セッション、スティッキールーティングがなく、同一のレプリカを簡単にスケールできます。macOS、Linux、Windows向けの単一の静的バイナリとして提供され、DockerおよびKubernetesのデプロイメントマニフェストも含まれます。唯一のランタイム依存関係はgopkg.in/yaml.v3です。 主な機能には、4種類のプロバイダー種別（openai、openai_compat、anthropic、google）によるマルチプロバイダー出力、モデルエイリアスとルーティング、共有シークレットによるオプションのエッジ認証、OAuth2およびサービスアカウントトークンソース、/uiでの組み込みオペレーターダッシュボードが含まれます。使用量計測は、プロキシされたリクエストごとに1つのイベントを、JSONL、非同期ウェブフック、オプションのSQLite、またはプロセス内Goフックを介して発行します。ゲートウェイは、埋め込み、画像生成、ビデオジョブ、テキスト読み上げ、音声認識、OpenAI Responses、Files、Batches、Moderations、およびRealtime WebSocketセッション（同一プロトコルのパススルーのみ）もサポートします。 設定は単一のYAMLファイルで、環境変数による上書きが可能です。ヘルスチェック、Prometheusメトリクス、ボディサイズ制限、グレースフルシャットダウンが組み込まれています。プロジェクトはAGPL-3.0ライセンスの下で提供されています。