server

Hyperstrate Server est une passerelle IA auto-hébergée conçue pour les équipes nécessitant un contrôle granulaire de l'infrastructure LLM. Il agit comme une couche centralisée entre les applications et divers fournisseurs d'IA, prenant en charge les services hébergés (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), les modèles auto-hébergés (Ollama, vLLM, LocalAI) et les fournisseurs HTTP personnalisés. Les fonctionnalités clés incluent : - **Routage et orchestration** : prend en charge plusieurs stratégies de routage (round-robin, pondéré, basculement, basé sur la latence) et des fonctionnalités de pipeline telles que la mise en cache sémantique, le rétrécissement du contexte, les retries et l'intégration d'outils MCP. - **Gouvernance et sécurité** : implémente des plafonds de requêtes, des budgets de coût, des limites de débit, des clés virtuelles et des mappages de groupes OIDC pour gérer l'accès multi-locataire. - **Observabilité** : fournit des logs d'inférence détaillés, des traces de pipeline, des métriques Prometheus et des analyses pour suivre les coûts, la latence et l'utilisation des tokens. - **Évaluation** : comprend des outils pour gérer des templates de prompts versionnés et exécuter des ensembles d'évaluation avec scoring par jugement LLM pour tester les régressions du routeur. - **Expérience développeur** : propose des API compatibles SDK (compatibles OpenAI et Anthropic) permettant aux clients existants de s'intégrer en modifiant simplement l'URL de base. Techniquement, le serveur est développé avec Go 1.25 et Gin, prenant en charge SQLite pour le développement local et PostgreSQL pour la production. Il peut être déployé en tant que binaire autonome ou via AWS SAM utilisant Lambda et SQS pour le traitement asynchrone des tâches.