프로젝트 소개
이 프로젝트는 표준 OpenAI API와 완전한 호환성을 보장하면서 GitHub Models API 모델과 상호작용할 수 있게 하는 프록시 서버입니다. OpenAI, Meta, Microsoft, Mistral, DeepSeek, xAI를 포함한 다양한 제공업체의 수십 가지 모델에 대한 액세스를 제공합니다.
### 주요 기능:
- **다양한 인터페이스**: 표준 OpenAI API, 확장 JSON API, 간소화된 Chat API 및 테스트를 위한 대화형 Web UI 지원.
- **모니터링 및 분석**: HTTP 요청, 오류, 메모리 사용량 및 성능 추적을 위한 Prometheus 형식의 내장 엔드포인트 제공. `/monitor`에서 별도의 모니터링 웹 인터페이스 이용 가능.
- **부하 제어**: 안정성 확보를 위한 속도 제한(Rate limiting) 메커니즘 및 대기 큐를 통한 동시성 제어.
- **보조 도구**:
- 서버 자동 복구를 위한 `watchdog.sh`.
- 벤치마킹, 모델 테스트 및 코드 예제 생성을 위한 스크립트.
- 스트리밍을 지원하는 TTS 기능(우크라이나어 음성).
- **지능형 기능**: 자동 컨텍스트 제한 확인 및 작업(속도, 품질, 텍스트 양) 기반의 모델 추천 시스템.
### 기술 스택:
- Node.js 18+
- GitHub Models API 통합
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.