اوپن سورس۔ نئے امکانات۔

llm-apipool 40+ مفت LLM APIs کو ایک OpenAI-compatible اینڈ پوائنٹ میں یکجا کرتا ہے۔ یہ خودکار کلیدوں کی گردش، ریٹ لمٹس کا انتظام، استعمال کی نگرانی کرتا ہے، اور CLI، TUI، proxy، اور LangChain integration کی حمایت کرتا ہے۔

یہ پروجیکٹ LLM فراہم کنندگان کے لیے ایک محفوظ پروکسی ہے جو متحدہ API فراہم کرتا ہے، ریٹ لمیٹنگ، اسمارٹ روٹنگ اور اسٹریمنگ سپورٹ کے ساتھ۔

RouteTok ایک مقامی-پہلے LLM انفرنس راؤٹر ہے جو OpenAI اور Anthropic کے مطابقت پذیر APIs، صحت-aware فیلول اوور، ملٹی-پروائیڈر کیٹلاگز، آپریشنز ڈیش بورڈ، اور ماڈل سانڈ باکس فراہم کرتا ہے۔

سویچ بورڈ ایک لوکل AI گیٹ وے ہے جو آپ کی مشین پر چلتا ہے اور 16 مختلف AI فراہم کنندگان کے درمیان درخواستوں کو راؤٹ کرتا ہے۔ یہ مفت ٹیرز کو ترجیح دیتا ہے، خودکار فیل بیک فراہم کرتا ہے اور ہر فیصلے کی تفصیلی رپورٹنگ کرتا ہے۔

DeepSeek Router Claude Code کے لیے ہائی ایوریبلٹی پراکسی ہے جو پانچ چینی AI فراہم کنندگان سے درخواستوں کو راؤٹ کرتا ہے۔ اس میں خودکار فیْل اوور، سرکٹ بریکنگ، اور زیرو ڈاؤن ٹائم ری لوڈنگ شامل ہیں۔ یہ Anthropic Messages API کے لیے ڈراپ ان متبادل ہے اور لاگت میں 7-34 گنا سستا ہے۔