llmrouter

LLMRouterはセルフホスト型の大規模言語モデル（LLM）APIゲートウェイであり、ユーザーがGoogle、Groq、Mistral、智譜AI、アリババクラウド百煉など複数のAIサービスプロバイダをローカルで一元管理し、単一のOpenAI互換インターフェースを通じて呼び出すことを可能にします。すべての認証鍵と設定は暗号化された状態でローカルのSQLiteデータベースに保存され、プライバシーとセキュリティを保証します。システムは自動フェールオーバー（429/5xxエラー時にモデルを切替）、インテリジェントルーティング（model="auto"で最適モデルを自動選択）、ストリーミング出力、ツール呼び出しをサポートしています。Web管理パネルにより、鍵の管理、ルーティング優先度の調整、Playgroundでのテストが可能です。Windows/macOS/Linuxに対応し、ワンクリックデプロイメントで稼働。アイドル時のメモリ使用量は約40MBと軽量で、個人や小規模チームの利用に適しています。技術アーキテクチャはExpressベースのバックエンドとReactフロントエンドで構成され、ベンダーアダプターはモジュール化されていて拡張性に優れています。