cognigate

CogniGateは、アプリケーションと様々なAIモデルプロバイダーの間に配置されるよう設計された、オープンソースのセルフホスト型LLMゲートウェイです。これにより、実際のプロバイダーの認証情報をデプロイメント内に安全に保持したまま、アプリケーション側では単一のOpenAI互換APIキーを使用することが可能になります。 主な機能は以下の通りです： - OpenAI互換API：コードを変更することなく、既存のSDKと統合可能です。 - Capability Aliases：`fast`、`balanced`、`best`などのエイリアスを使用して特定のモデルに解決するため、クライアントは特定のモデルバージョンに依存せずに利用できます。 - Fallback Chains & Circuit Breakers：モデルローテーションのための順序付きカスケードと、429/5xxエラーに対する指数バックオフを実装し、信頼性を確保します。 - テナントごとのクォータ：トークンおよび支出制限をサポートし、サイジングのための「observe」モードを備えています。 - 耐久性のある使用量計測：すべてのリクエストをPostgreSQLに記録し、テナント、モデル、またはプロバイダーごとの分析を可能にします。 システムアーキテクチャは、リクエスト処理を行うGoベースのGatewayと、耐久性のある計測を行うJava/Spring BootベースのAnalyticsエンジンで構成されています。Together、Groq、Fireworks、vLLM、Ollama、Azure OpenAIなど、OpenAIのワイヤーフォーマットを実装しているあらゆるプロバイダーをサポートしています。