cognigate

CogniGate는 애플리케이션과 다양한 AI 모델 제공자 사이에 위치하도록 설계된 오픈 소스 셀프 호스팅 LLM 게이트웨이입니다. 이를 통해 애플리케이션은 단일 OpenAI 호환 API 키를 사용할 수 있으며, 실제 제공자 자격 증명은 배포 환경 내에 안전하게 유지됩니다. 주요 기능은 다음과 같습니다: - OpenAI 호환 API: 코드 변경 없이 기존 SDK와 통합됩니다. - 기능 별칭(Capability Aliases): `fast`, `balanced`, `best`와 같은 별칭을 사용하여 특정 모델로 연결함으로써, 클라이언트가 특정 모델 버전에 구애받지 않도록 합니다. - 폴백 체인(Fallback Chains) 및 서킷 브레이커: 모델 로테이션을 위한 순차적 캐스케이드와 429/5xx 오류에 대한 지수 백오프를 구현하여 신뢰성을 보장합니다. - 테넌트별 할당량: 토큰 및 지출 한도를 지원하며, 규모 산정을 위한 '관찰(observe)' 모드를 제공합니다. - 내구성 있는 사용량 측정: 모든 요청을 PostgreSQL에 기록하여 테넌트, 모델 또는 제공자별 분석을 수행합니다. 시스템 아키텍처는 요청 처리를 위한 Go 기반 Gateway와 내구성 있는 측정을 위한 Java/Spring Boot Analytics 엔진으로 구성됩니다. Together, Groq, Fireworks, vLLM, Ollama 및 Azure OpenAI를 포함하여 OpenAI 와이어 포맷을 구현하는 모든 제공자를 지원합니다.