اوپن سورس۔ نئے امکانات۔

ایک پروڈکشن گریڈ، OpenAI کے ساتھ ہم آہنگ اسمارٹ LLM راؤٹر اور فال بیک پراکسی جو سادہ سوالات کو Small Language Models (SLMs) اور پیچیدہ سوالات کو فرنٹیر ماڈلز کی طرف بھیج کر اخراجات کو کم کرتا ہے۔

RouteTok ایک مقامی-پہلے LLM انفرنس راؤٹر ہے جو OpenAI اور Anthropic کے مطابقت پذیر APIs، صحت-aware فیلول اوور، ملٹی-پروائیڈر کیٹلاگز، آپریشنز ڈیش بورڈ، اور ماڈل سانڈ باکس فراہم کرتا ہے۔

ٹوکن اسٹیشن اے آئی ایجنٹس اور LLM فراہم کنندگان کے لیے مقامی روٹنگ گیٹ وے ہے۔ یہ صرف لوپ بیک کے ذریعے Claude Code، Cursor، Codex، Gemini CLI اور دوسرے ٹولز کو روٹ کرتا ہے، جس میں اسمارٹ ٹئیر سلیکشن، کوٹا آگاہ روٹنگ اور استعمال کی ٹریکنگ کی سہولیات موجود ہیں۔

یہ ایک سادہ OpenAI-compatible API روتر ہے جو OpenAI، Anthropic، اور Gemini اینڈ پوائنٹس کے درمیان درخواستوں کو تبدیل اور موڑتا ہے۔

سویچ بورڈ ایک لوکل AI گیٹ وے ہے جو آپ کی مشین پر چلتا ہے اور 16 مختلف AI فراہم کنندگان کے درمیان درخواستوں کو راؤٹ کرتا ہے۔ یہ مفت ٹیرز کو ترجیح دیتا ہے، خودکار فیل بیک فراہم کرتا ہے اور ہر فیصلے کی تفصیلی رپورٹنگ کرتا ہے۔