server

Hyperstrate Server 是一款自托管的 AI 网关，专为需要对 LLM 基础设施进行精细控制的团队设计。它在应用程序与各类 AI 提供商之间充当集中式层，支持托管服务（OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、Bedrock、Groq、Cohere）、自托管模型（Ollama、vLLM、LocalAI）以及自定义 HTTP 提供商。 核心能力包括： - **路由与编排**：支持多种路由策略（轮询、加权、故障转移、基于延迟）以及管道功能，如语义缓存、上下文裁剪、重试和 MCP 工具集成。 - **治理与安全**：实现请求上限、成本预算、速率限制、虚拟密钥和 OIDC 组映射，以管理多租户访问。 - **可观测性**：提供详细的推理日志、管道追踪、Prometheus 指标和分析功能，用于跟踪成本、延迟和令牌使用情况。 - **评估**：包含用于管理版本化提示模板和使用 LLM 评判评分运行评估集的工具，以测试路由器的回归情况。 - **开发者体验**：提供兼容 SDK 的 API（兼容 OpenAI 和 Anthropic），现有客户端只需更改基础 URL 即可集成。 技术上，该服务器使用 Go 1.25 和 Gin 构建，本地开发支持 SQLite，生产环境支持 PostgreSQL。可作为独立二进制文件部署，或通过 AWS SAM 使用 Lambda 和 SQS 进行异步作业处理的无服务器部署。