프로젝트 소개

Simple Router는 Next.js로 구축된 경량 셀프 호스팅 게이트웨이로, 사용자가 OpenAI, Gemini, Anthropic, Groq, OpenRouter, Alibaba DashScope 및 Ollama 또는 vLLM과 같은 로컬 서버를 포함한 다양한 AI 제공업체에 통합된 OpenAI 호환 API 형식을 통해 액세스할 수 있도록 합니다. 주요 기능은 다음과 같습니다: - 통합 API 엔드포인트: 채팅 완성, 응답, 임베딩, 이미지 생성 및 모델 목록을 지원하여 기존 OpenAI SDK와 호환됩니다. - 고급 라우팅: 고정, 랜덤, 라운드 로빈, 가중치 및 우선순위 페일오버와 같은 다양한 라우팅 전략을 지원합니다. - 가상 모델: API 키가 가상 모델 역할을 하여 관리자가 서로 다른 프로젝트에 대해 특정 모델 목록과 라우팅 전략을 정의할 수 있습니다. - 관리 도구: 메트릭 모니터링, 제공업체 및 키 관리, 사용량 분석 추적, 검색 가능한 로그 보기를 위한 관리자 대시보드가 포함되어 있습니다. - 속도 제한 및 추적: 키별 속도 제한(분/일당 요청/토큰 수)과 토큰 수 및 지연 시간을 기반으로 한 비용 추정치를 제공합니다. - 보안: 세션 기반 로그인, JWT API 토큰 및 저장된 API 키에 대한 AES-256-GCM 암호화를 특징으로 합니다. - 스트리밍 지원: Anthropic과 같은 제공업체를 위한 형식 변환을 포함하여 채팅 완성에 대한 Server-Sent Events (SSE)를 지원합니다.