منصوبے کے بارے میں

llm-apipool ایک خود-hosted ٹول ہے جو 40 سے زائد مفت LLM APIs تک رسائی کو یکجا کرتا ہے — جن میں Groq، Mistral، Cerebras، Google Gemini، OpenRouter، Hugging Face، GitHub اور دیگر شامل ہیں — ایک واحد OpenAI-compatible اینڈ پوائنٹ کے پیچھے (مثلاً http://localhost:8000/v1)۔ یہ کئی API کلیدوں، SDKs یا ریٹ لمٹس کو دستی طور پر منظم کرنے کی ضرورت ختم کر دیتا ہے۔ سسٹم خودکار طریقے سے ہر فراہم کنندہ کے لیے کلیدیں گردش کرتا ہے، جب ریٹ لمٹ لگے تو cooldown لاگو کرتا ہے، اور متبادل فراہم کنندگان یا tiers پر فالبیک کرتا ہے۔ اس میں سیٹ اپ اور انتظام کے لیے CLI، حقیقی وقت کی کلید اور آڈٹ لاگ مانیٹرنگ کے لیے Textual-based TUI، اور تجزیات اور ترتیبات کے ساتھ React ڈیش بورڈ شامل ہے۔compatible فراہم کنندگان کے لیے SSE streaming کی حمایت کرتا ہے، ماڈلز کے درمیان یکساں effort configuration (low/medium/high reasoning)، سبسکرائبر ٹریکنگ، connection pooling، اور health checks کے ساتھ Docker deployment کی حمایت کرتا ہے۔ AggregatorChat کے ذریعے LangChain کے ساتھ بآسانی انٹیگریٹ ہوتا ہے، اور کسی بھی OpenAI-compatible ٹول (Hermes Agent، Cursor، Continue.dev وغیرہ) کے ساتھ کام کرتا ہے — بس base URL تبدیل کریں۔ انفرادی ڈویلپرز اور چھوٹی ٹیموں کے لیے بنایا گیا جو API اخراجات سے بچنا چاہتے ہیں اور پروڈکشن گریڈ ریلیبلٹی برقرار رکھنا چاہتے ہیں۔ اس میں 522 پاس ٹیسٹس، Alembic migrations، اور دستاویزی فراہم کنندگان کے گائیڈز شامل ہیں۔ Roadmap میں plugin support، WebSocket streaming، multi-user auth، اور distributed clustering شامل ہے۔