프로젝트 소개

llm-apipool은 40개 이상의 무료 계층 LLM API에 대한 통합 액세스를 제공하는 셀프 호스팅 도구입니다. Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub 등을 단일 OpenAI 호환 엔드포인트(http://localhost:8000/v1 등) 뒤에 통합합니다. 복수의 API 키, SDK,레이트 제한을 수동으로 관리할 필요가 없습니다. 시스템은 공급자별 자동으로 키를 회전하고, 레이트 제한 시 쿨다운을 적용하며, 대체 공급자나 티어로 폴백합니다. CLI, 실시간 키 및 감사 로그 모니터링용 상호작용 Textual 기반 TUI, 애널리틱스와 설정을 갖춘 React 대시보드를 포함합니다. 스트리밍(SSE), 모델 간 통합 Effort 구성(저/중/고 추론), 구독자 추적, 커넥션 풀링, Docker 배포 및 헬스체크를 지원합니다. AggregatorChat을 통해 LangChain과 원활히 통합되며, 기본 URL만 변경하면 Hermes Agent, Cursor, Continue.dev 등 모든 OpenAI 호환 도구와 작동합니다. API 비용을 피하면서 프로덕션급 신뢰성을 유지하려는 개인 개발자와 소규모 팀을 위해 설계되었습니다. 522개 통과 테스트, Alembic 마이그레이션, 문서화된 공급자 가이드를 포함합니다. 로드맵에는 플러그인 지원, WebSocket 스트리밍, 다중 사용자 인증, 분산 클러스터링이 포함됩니다.