server

Hyperstrate Server es una puerta de enlace de IA autoalojada diseñada para equipos que requieren un control granular sobre la infraestructura de LLM. Actúa como una capa centralizada entre las aplicaciones y varios proveedores de IA, con soporte para servicios alojados (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), modelos autoalojados (Ollama, vLLM, LocalAI) y proveedores HTTP personalizados. Capacidades principales: - **Enrutamiento y orquestación**: Admite múltiples estrategias de enrutamiento (round-robin, ponderado, conmutación por error, basada en latencia) y funciones de canalización como caché semántico, recorte de contexto, reintentos e integración de herramientas MCP. - **Gobernanza y seguridad**: Implementa límites de solicitudes, presupuestos de costos, límites de velocidad, claves virtuales y asignaciones de grupos OIDC para gestionar el acceso multitenant. - **Observabilidad**: Proporciona registros detallados de inferencia, trazas de canalización, métricas Prometheus y análisis para rastrear costos, latencia y uso de tokens. - **Evaluación**: Incluye herramientas para gestionar plantillas de prompts versionadas y ejecutar conjuntos de evaluación con puntuación mediante juez de LLM para probar regresiones del enrutador. - **Experiencia del desarrollador**: Ofrece APIs compatibles con SDKs (compatibles con OpenAI y Anthropic) que permiten a los clientes existentes integrarse simplemente cambiando la URL base. Técnicamente, el servidor está construido con Go 1.25 y Gin, con soporte para SQLite en desarrollo local y PostgreSQL en producción. Se puede desplegar como un binario independiente o mediante AWS SAM usando Lambda y SQS para el procesamiento asíncrono de trabajos.