프로젝트 소개

Azure AI Proxy는 Azure OpenAI 호환 API 인터페이스를 제공하는 경량 모듈형 서버로, LiteLLM을 통해 DeepSeek, MIMO, Anthropic, Ollama 및 커스텀 엔드포인트를 포함한 제공업체의 백엔드 모델로 요청을 라우팅합니다. 이를 통해 개발자는 Azure OpenAI 형식을 기대하는 도구 및 IDE(JetBrains의 GitHub Copilot 등) 내에서 비 Azure LLM을 사용할 수 있습니다. 이 프록시는 채팅 완성(chat completions), 임베딩, 레거시 완성, 모델 목록 조회 및 배포 관리를 지원합니다. 주요 기능으로는 YAML을 통한 다중 모델 설정, UI 호환성을 위한 모델 ID 에뮬레이션, keepalive 및 타임아웃 처리가 포함된 강화된 스트리밍, 도구 호출(tool call) 정제, 유연한 오류 매핑, 디버그 로깅 및 선택적 API 키 인증이 있습니다. 설치 옵션으로는 pip, Windows/macOS/Linux용 원라이너 스크립트 또는 Docker가 제공됩니다. 설정은 호스트, 포트, 타임아웃, 로깅 및 API 키, 기본 URL, 토큰 제한을 포함한 모델별 파라미터를 정의하는 간단한 config.yaml 파일을 통해 관리됩니다. 프로젝트 구조는 각 엔드포인트 유형에 대한 핸들러와 인증, CORS, 로깅을 위한 미들웨어로 깔끔하게 모듈화되어 있습니다. 필요한 종속성은 aiohttp, litellm, pyyaml뿐입니다. 이 프록시는 GPL v3 라이선스 하에 배포되며 CarmJos가 유지 관리하고 있으며, GitHub Sponsors 또는 ifdian.net을 통한 후원을 권장합니다.