اوپن سورس۔ نئے امکانات۔

Z.AI Claude API کے لیے پروڈکشن گریڈ LLM ریورس پراکسی، جس میں ٹوکن گنتی، انکولی ریٹ لمٹنگ، Prometheus میٹرکس، اور ریئل ٹائم مانیٹرنگ ڈیش بورڈ شامل ہیں۔

یہ پروجیکٹ LiteLLM اور LangChain کے ذریعے متعدد AI فراہم کنندگان تک یکساں رسائی فراہم کرنے والا LLM Gateway بناتا ہے، جس میں ماڈل رائٹنگ، خودکار فیلی اوور، لاڈ بالانسنگ، لاگت کی نگرانی اور حفاظتی تدابیر شامل ہیں۔

CogniGate ایک سیلف ہوسٹڈ، ملٹی ٹیننٹ LLM گیٹ وے ہے جو متعدد ماڈل فراہم کنندگان کے انتظام کے لیے ایک واحد OpenAI ہم آہنگ اینڈ پوائنٹ فراہم کرتا ہے جبکہ کریڈنشلز کو محفوظ رکھتا ہے۔