obey-api-gateway

OBEY API Gateway는 애플리케이션과 여러 AI 제공업체 사이에 위치하도록 설계된 고성능 단일 바이너리 AI 게이트웨이입니다. OpenAI API와의 호환성을 갖추고 있어, 기존 SDK를 게이트웨이를 향하도록 지점만 변경하면 추가 코드 수정 없이 고급 라우팅 및 신뢰성 기능을 활용할 수 있습니다. 주요 기능은 다음과 같습니다. - **다중 제공업체 지원**: OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM, LM Studio와 호환됩니다. - **신뢰성 및 라우팅**: 서킷 브레이커, 지수 백오프, 자동 장애 조치를 지원하며, Retry-After 헤더를 준수하는 스마트 속도 제한 처리가 가능합니다. 우선순위 기반, 비용 인식, 복잡도 인식 라우팅을 지원합니다. - **고급 AI 기능**: - **응답 캐싱**: 인메모리 정확 일치 방식의 1단계 캐시와 Qdrant 기반의 선택적 의미론적 캐시로 구성된 2단계 캐싱을 제공합니다. - **토큰 관리**: 9가지 토큰 압축 전략과 도구 정의 압축을 위한 12단계 파이프라인을 포함합니다. - **가드레일**: PII 비식별화, 정규식 스캐닝, 콘텐츠 검토 등을 포함한 호출 전후 정책 강제 기능을 지원합니다. - **에이전트 루프 감지**: 반복적인 에이전트 행위를 감지하고 경고 및 속도 제한 단계를 통해 단계적으로 대응합니다. - **OpenAI 통합**: ChatGPT Plus/Pro 구독을 위한 OpenAI OAuth 로그인을 지원하며, 네이티브 /v1/responses 엔드포인트를 제공합니다. - **개발자 도구**: 내장 관리자 대시보드, Prometheus 메트릭, SQLite 기반 구조화된 로깅, 그리고 발신자별 예산 및 속도 제한을 위한 가상 키 관리를 포함합니다. - **배포**: Windows 설치 프로그램, Docker 이미지 형태로 제공되며, Rust로 소스에서 직접 빌드할 수도 있습니다.