프로젝트 소개

이 프로젝트는 다양한 대규모 언어 모델(LLM) 공급업체에 대한 보안 프록시로 동작하도록 설계된 ai-proxy 서비스의 포크입니다. unified API 엔드포인트를 제공하여, 사용자가 각 공급업체별로 애플리케이션 코드를 수정하지 않고도 여러 AI 서비스에 상호작용할 수 있습니다. 주요 기능은 다음과 같습니다: - 통합 API 접근: OpenAI, Google Gemini, Groq, OpenRouter, Cloudflare, Cohere, Sberbank GigaChat 등 공급업체 지원 - 요청 관리: 분/시간/일별 속도 제한, 지능형 라우팅, 구조화된 오류 처리 구현 - 성능 최적화: 메모리 효율성을 위한 sync.Pool을 활용한 버퍼 풀링, HTTP 클라이언트용 최적화된 커넥션 풀링, 지수 백오프와 지연이 포함된 스트리밍 재시도 메커니즘 - 보안: 프록시 액세스 토큰 인증 및 환경변수를 통한 보안 설정 관리 - 스트리밍 지원: 스트리밍 응답을 구현하는 공급업체를 위한 서버 전송 이벤트(SSE) 지원 - 구성: 모델, 우선순위, API 키를 정의하는 YAML 기반 설정 사용