server

Hyperstrate Server — это self-hosted AI gateway, разработанный для команд, которым требуется детальный контроль над LLM инфраструктурой. Он выступает в качестве центрального уровня между приложениями и различными AI провайдерами, поддерживая hosted-сервисы (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), self-hosted модели (Ollama, vLLM, LocalAI) и пользовательские HTTP-провайдеры. Ключевые возможности: - **Routing & Orchestration**: Поддерживает несколько стратегий маршрутизации (round-robin, weighted, failover, latency-based) и функции пайплайна, такие как semantic caching, context trimming, retries и MCP tool integration. - **Governance & Security**: Реализует request caps, cost budgets, rate limits, virtual keys и OIDC group mappings для управления multi-tenant доступом. - **Observability**: Предоставляет подробные inference logs, pipeline traces, метрики Prometheus и аналитику для отслеживания затрат, задержек и потребления токенов. - **Evaluation**: Включает инструменты для управления versioned prompt templates и запуска evaluation sets с LLM-judged scoring для тестирования regressions роутера. - **Developer Experience**: Предлагает SDK-compatible API (совместимые с OpenAI и Anthropic), позволяя существующим клиентам интегрироваться путём простого изменения base URL. С технической стороны сервер написан на Go 1.25 и Gin, поддерживает SQLite для local development и PostgreSQL для production. Может развёртываться как standalone binary или через AWS SAM с использованием Lambda и SQS для асинхронной обработки задач.