llm-apipool

llm-apipool是一款自托管工具，通过单个OpenAI兼容端点（如 http://localhost:8000/v1）统一访问40多种免费大型语言模型（LLM）API——包括Groq、Mistral、Cerebras、Google Gemini、OpenRouter、Hugging Face、GitHub等——无需手动管理多个API密钥、SDK或速率限制。系统会自动按提供商轮换密钥，在触发速率限制时应用冷却机制，并自动回退到其他提供商或层级。工具包内置CLI用于设置与管理，采用Textual框架提供交互式TUI，可实时查看密钥状态与审计日志，同时配备基于React的管理面板，支持数据分析与设置调整。支持流式输出（适用于SSE兼容的提供商），跨模型统一配置推理力度（低/中/高），追踪订阅使用情况，实现连接池化，并提供含健康检查的Docker部署方案。通过AggregatorChat与LangChain无缝集成，同时只需修改Base URL即可与任何OpenAI兼容工具（如Hermes Agent、Cursor、Continue.dev等）配合使用。该项目面向希望避免API成本的同时保持生产级可靠性的个人开发者和小型团队。项目包含522个通过的测试用例、Alembic数据库迁移脚本以及详细的提供商配置指南。路线图规划中包括插件支持、WebSocket流式传输、多用户认证及分布式集群等功能。