このプロジェクトについて
LocalRouterは、完全にローカルマシン上で動作するように設計されたセルフホスト型のAI APIプロキシゲートウェイです。これにより、開発者はOpenAI、Anthropic、Azure、Ollamaなどの複数のAIプロバイダーへのアクセスを、単一の一貫したエンドポイントに統合できます。これにより、プロバイダーやモデルを切り替える際にアプリケーションコードを変更する必要がなくなります。
主な機能には、モデルエイリアシング(例:'gpt-4o'を任意のアップストリームプロバイダーにマッピング)、アクティブなアップストリーム間のワンクリック切り替え、リクエスト/レスポンスの完全なログ記録(ストリーミングSSEコンテンツを含む)、設定可能なモデル別価格に基づくリアルタイムのコスト追跡、およびソース、エントリ、モデル別のトークントレンドを含む詳細な利用分析が含まれます。
このツールは、オプションの認証トークンによるアクセス制御をサポートしており、デスクトップアプリ(macOS、Windows、Linux)とサーバーモードの両方を提供します。すべてのデータはローカルのSQLiteデータベースに保存されるため、プライバシーが確保され、オフラインでの運用が可能です。開発者は、ベースURLを変更するだけで、既存のOpenAI SDKにシームレスに統合できます。
ダッシュボードでは、ソース、エントリ、ログ、統計を視覚的に管理でき、デバッグと監視が簡単になります。ログは最大10,000エントリに制限されており、スターを付けていないレコードは自動的にトリミングされますが、スター付きのログは無期限に保存されます。設定は、ポートとデータベースパスを記述する.envファイルを通じて簡単に行えます。MITライセンスで提供されています。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.