server

Hyperstrate Serverは、詳細な制御を必要とするチーム向けの自前ホスト型AIゲートウェイです。アプリケーションと多様なAIプロバイダーの間で中核的なレイヤーとして機能し、ホスト型サービス（OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、Bedrock、Groq、Cohere）、自前ホスト型モデル（Ollama、vLLM、LocalAI）、カスタムHTTPプロバイダーをサポートします。 主な機能： ・ルーティングとオーケストレーション：ラウンドロビン、加重、フェイルオーバー、レイテンシベースなど複数のルーティング戦略と、セマンティックキャッシュ、コンテキストトリミング、リトライ、MCPツール統合などのパイプライン機能をサポート。 ・ガバナンスとセキュリティ：リクエスト制限、コスト予算、レート制限、仮想キー、OIDCグループマッピングによるマルチテナントアクセス管理を実現。 ・観測性：インフレンスログ、パイプライントレース、Prometheusメトリクス、分析によりコスト、レイテンシ、トークン使用量を追跡。 ・評価：バージョン管理されたプロンプトテンプレートの管理と、LLM判定スコアリングによる評価セット実行でルーターの回帰テストが可能。 ・デベロッパー体験：OpenAIおよびAnthropic互換のSDK対応APIを提供し、ベースURLの変更だけで既存クライアントが統合可能。 技術的にはGo 1.25とGinで構築され、ローカル開発にはSQLite、本番環境ではPostgreSQLをサポート。スタンドアロンバイナリまたはAWS SAMを用いたLambdaとSQSによる非同期ジョブ処理でのデプロイに対応。