इस प्रोजेक्ट के बारे में

llm-apipool एक self-hosted टूल है जो 40+ मुफ्त-टियर लार्ज लैंग्वेज मॉडल (LLM) APIs — जैसे Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub आदि — तक पहुंच को एक ही OpenAI-compatible एंडपॉइंट (उदा. http://localhost:8000/v1) के पीछे एकीकृत करता है। यह कई API 키, SDK, या rate limits को मैन्युअल रूप से मैनेज करने की आवश्यकता को खत्म करता है। सिस्टम स्वचालित रूप से प्रोवाइडर के अनुसार कुंजी रोटेट करता है, जब rate-limited हो तो cooldown लागू करता है, और विकल्प प्रोवाइडर्स या टियर्स पर fallback करता है। इसमें सेटअप और प्रबंधन के लिए CLI, वास्तविक समय में कुंजी और audit log निगरानी के लिए interactive Textual-based TUI, और analytics व सेटिंग्स के साथ React dashboard शामिल है। सपोर्टेड फीचर्स: - Streaming (SSE compatible प्रोवाइडर्स के लिए) - मॉडल्स across unified effort configuration (low/medium/high reasoning) - Subscriber tracking - Connection pooling - Docker deployment with health checks LangChain के साथ AggregatorChat के माध्यम से seamless integration, और किसी भी OpenAI-compatible टूल (Hermes Agent, Cursor, Continue.dev आदि) के साथ काम करता है — बस base URL बदलें। व्यक्तिगत डेवलपर्स और छोटी टीमों के लिए बनाया गया जो API लागत से बचना चाहते हैं जबकि production-grade reliability बनाए रखना चाहते हैं। 522 passing tests, Alembic migrations, और documented provider guides शामिल हैं। Roadmap में plugin support, WebSocket streaming, multi-user auth, और distributed clustering शामिल है।