프로젝트 소개
이 프로젝트는 Ollama, OpenAI, Google Gemini, Hugging Face를 포함한 다수의 AI 서비스 제공업체를 단일 일관된 인터페이스 뒤로 추상화하는 통합 REST API를 제공합니다. 개발자는 클라이언트 코드를 변경하지 않고도 제공업체를 전환하거나 조합할 수 있습니다. 이 API는 텍스트 생성, 채팅 완성, 이미지 기반 프롬프트(멀티모달), 및 임베딩을 지원합니다. 주요 기능으로는 API 키를 통한 선택적 인증, 실시간 스트리밍 응답, 자동 제공업체 라우팅, 자동 생성된 OpenAPI 문서가 포함됩니다. Docker Compose 또는 로컬 Python 실행을 통한 쉬운 배포를 위해 설계되었으며, 환경 변수를 통해 개별 제공업체 전환 및 모델별 매개변수 설정이 가능합니다. 시스템은 헬스 체크 및 모델 목록 엔드포인트를 공개하며, 확장 가능한 아키텍처로 새로운 제공업체 추가가 지원됩니다. Makefile 기반 관리 명령어를 통해 시작, 중지, 로그, 쉘 접근 등 라이프사이클 작업을 간소화했고 MIT 라이선스로 배포됩니다.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.