اوپن سورس۔ نئے امکانات۔

ٹوکن اسٹیشن اے آئی ایجنٹس اور LLM فراہم کنندگان کے لیے مقامی روٹنگ گیٹ وے ہے۔ یہ صرف لوپ بیک کے ذریعے Claude Code، Cursor، Codex، Gemini CLI اور دوسرے ٹولز کو روٹ کرتا ہے، جس میں اسمارٹ ٹئیر سلیکشن، کوٹا آگاہ روٹنگ اور استعمال کی ٹریکنگ کی سہولیات موجود ہیں۔

یہ پروجیکٹ LiteLLM اور LangChain کے ذریعے متعدد AI فراہم کنندگان تک یکساں رسائی فراہم کرنے والا LLM Gateway بناتا ہے، جس میں ماڈل رائٹنگ، خودکار فیلی اوور، لاڈ بالانسنگ، لاگت کی نگرانی اور حفاظتی تدابیر شامل ہیں۔

ایک Python پر مبنی LLM راؤٹنگ سسٹم جو Gemini اور Claude ماڈلز کے درمیان تین سطحی آرکیٹیکچر کا استعمال کرتے ہوئے API اخراجات کو کم کرنے کے لیے سوالات کو ان کی پیچیدگی کے مطابق تقسیم کرتا ہے۔