프로젝트 소개

Inja LLM 게이트웨이는 대규모 언어 모델 공급자를 위한 가볍고 의존성이 없는 API 게이트웨이입니다. OpenAI Chat Completions, Anthropic Messages 또는 네이티브 Gemini 방언으로 요청을 수락하고 OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM 등을 포함한 모든 구성된 업스트림 공급자로 라우팅합니다. 동일한 방언의 트래픽은 거의 그대로 전달되며, 교차 방언 요청은 자동으로 번역되어 구조화된 출력, 도구 사용 및 사고 블록을 지원합니다. 이 게이트웨이는 데이터베이스, 세션 또는 고정 라우팅 없이 완전히 무상태이므로 동일한 복제본을 확장하기가 쉽습니다. macOS, Linux 및 Windows용 단일 정적 바이너리로 제공되며 Docker 및 Kubernetes 배포 매니페스트가 포함됩니다. 유일한 런타임 의존성은 gopkg.in/yaml.v3입니다. 주요 기능으로는 네 가지 공급자 종류(openai, openai_compat, anthropic, google)를 지원하는 다중 공급자 이그레스, 모델 별칭 및 라우팅, 공유 비밀번호를 사용한 선택적 에지 인증, OAuth2 및 서비스 계정 토큰 소스, /ui의 내장 운영자 대시보드가 있습니다. 사용량 측정은 프록시된 각 요청에 대해 JSONL, 비동기 웹훅, 선택적 SQLite 또는 프로세스 내 Go 훅을 통해 하나의 이벤트를 내보냅니다. 게이트웨이는 또한 임베딩, 이미지 생성, 비디오 작업, 텍스트-음성, 음성-텍스트, OpenAI Responses, Files, Batches, Moderations 및 Realtime WebSocket 세션(동일 프로토콜 통과 전용)을 지원합니다. 구성은 환경 변수 재정의가 있는 단일 YAML 파일입니다. 상태 확인, Prometheus 메트릭, 본문 크기 제한 및 정상 종료가 내장되어 있습니다. 이 프로젝트는 AGPL-3.0 라이선스로 제공됩니다.