server

Hyperstrate Server는 LLM 인프라에 대한 세밀한 제어가 필요한 팀을 위해 설계된 자체 호스팅 AI 게이트웨이입니다. 애플리케이션과 다양한 AI 프로바이더 사이에서 중앙집중형 레이어 역할을 하며, 호스팅 서비스(OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), 자체 호스팅 모델(Ollama, vLLM, LocalAI), 사용자 정의 HTTP 프로바이더를 모두 지원합니다. 주요 기능: - **라우팅 & 오케스트레이션**: 라운드 로빈, 가중치,フェ일오버, 지연시간 기반 등 여러 라우팅 전략과 의미 기반 캐싱, 컨텍스트 트리밍, 재시도, MCP 도구 통합 같은 파이프라인 기능을 지원합니다. - **거버넌스 & 보안**: 요청 한도, 비용 예산, Rate 제한, 가상 키, OIDC 그룹 매핑을 통해 다중 테넌트 액세스를 관리합니다. - **관찰 가능성**: 추론 로그, 파이프라인 트레이스, Prometheus 메트릭, 분석 대시보드를 제공하여 비용, 지연시간, 토큰 사용량을 추적합니다. - **평가**: 버전 관리된 프롬프트 템플릿 관리와 LLM 판정 점수화를 통한 라우터 회귀 테스트용 평가 세트 실행 도구를 제공합니다. - **개발자 경험**: 기존 클라이언트가 베이스 URL만 변경하면 통합할 수 있는 SDK 호환 API(OpenAI 및 Anthropic 호환)를 제공합니다. 기술적으로 Go 1.25와 Gin으로 구축되었으며, 로컬 개발에는 SQLite, 프로덕션에는 PostgreSQL을 지원합니다. 독립 실행형 바이너리로 배포하거나 AWS SAM을 통해 Lambda와 SQS를 활용한 비동기 작업 처리 환경으로도 배포할 수 있습니다.