프로젝트 소개
FreeLLMAPI는 34개의 LLM 제공업체와 600개 이상의 모델 엔드포인트에서 제공하는 무료 티어에 액세스할 수 있는 통합 /v1 엔드포인트를 제공합니다. 사용자는 여러 무료 쿼터를 쌓아 전체 추론 용량을 늘릴 수 있으며, 속도 제한 및 제공업체 장애를 자동으로 관리할 수 있습니다.
주요 기능은 다음과 같습니다:
- 통합 API: 채팅, completions, embeddings, 이미지, 비디오, 음성을 위한 OpenAI 호환 인터페이스뿐만 아니라 Anthropic Messages 및 Gemini 네이티브 인터페이스를 지원합니다.
- 스마트 라우팅: 제공업체가 속도 제한에 걸리거나 오류를 반환할 때 자동 페일오버 및 키 로테이션을 수행하는 6가지 라우팅 전략을 제공합니다.
- 모델 관리: 자체 업데이트되는 모델 카탈로그와 암호화된 API 키 관리 및 사용량 분석 추적을 위한 React 기반 관리 대시보드를 포함합니다.
- 고급 기능: 'Fusion'(다중 모델 합성), 프롬프트 압축, 컨텍스트 전달을 위한 스티키 세션, 에이전트 자기 성찰을 위한 MCP 서버를 제공합니다.
- 배포: Docker 컨테이너, macOS 및 Windows용 네이티브 데스크톱 앱으로 제공되며, ARM SBC를 포함한 Node 20+ 환경에서 실행됩니다.
- 통합: Claude Code, Aider, Cline, Cursor와 같은 다양한 코딩 에이전트 및 CLI를 위한 자동 설정 도구를 제공합니다.