このプロジェクトについて

Omni Gateway Localは、複数の大規模言語モデル（LLM）プロバイダーとのやり取りを簡素化するために設計された軽量APIゲートウェイです。/v1/chat/completionsで単一の標準化されたOpenAI互換インターフェースを提供し、基盤モデルがOllama経由のローカル環境やOpenAI、Anthropic、Geminiなどのリモート環境で実行される場合でも、同一のクライアントコードを使用可能です。リクエスト内の'model'パラメーターに基づき動的にルーティングされ、FastAPIおよびLiteLLMを基盤としてServer-Sent Events（SSE）によるストリーミングをサポートします。pipによるインストール、APIキーの環境変数設定、サーバー起動という最小限のセットアップで利用可能で、異なるモデルの実験やローカルAIアプリ開発、プロバイダー固有APIの抽象化を求める開発者に適しています。MITライセンス。