프로젝트 소개

AI Gateway는 단일 통합 API를 통해 여러 대규모 언어 모델(LLM) 제공자에 대한 액세스를 단순화하도록 설계된 오픈 소스 도구입니다. OpenAI, Gemini, Groq, Mistral 등 다양한 제공자는 물론, Ollama를 통한 로컬 모델이나 테스트용 mock 응답까지 요청 라우팅을 지원합니다. 주요 기능으로는 자동 재시도, 폴백 체인(fallback chains), 속도 제한(rate limiting)이 있으며, 특히 설정된 한도에 도달하면 추가 지출을 차단하는 강력한 월간 예산 캡 기능이 특징입니다. 시스템에는 현재 사용량과 예상 비용을 보여주는 쉬운 영어 기반의 비용 대시보드가 포함되어 있습니다. 설치는 Docker Compose를 통해 간소화되었으며, 단순 모드(SQLite, Redis 없음) 또는 풀 스택(Postgres + Redis) 중 선택할 수 있습니다. Python 클라이언트는 동기 및 비동기 인터페이스를 모두 제공합니다. 보안 기본 설정에 따라, 명시적으로 허용하지 않는 한 프로덕션 환경에서는 데모 키와 mock 제공자가 비활성화됩니다. 엔터프라이즈 수준의 복잡함 없이 LiteLLM 스타일의 유연성을 원하는 1인 개발자와 학생들에게 이상적입니다.