اوپن سورس۔ نئے امکانات۔

CogniGate ایک سیلف ہوسٹڈ، ملٹی ٹیننٹ LLM گیٹ وے ہے جو متعدد ماڈل فراہم کنندگان کے انتظام کے لیے ایک واحد OpenAI ہم آہنگ اینڈ پوائنٹ فراہم کرتا ہے جبکہ کریڈنشلز کو محفوظ رکھتا ہے۔

ہیڈروم AI ایجنٹس کے لیے ایک سیاق و سباق کمپریشن لیئر ہے جو ٹول آؤٹ پٹس، لاگز، RAG چنکس، فائلز اور بات چیت کی تاریخ کو LLM تک پہنچنے سے پہلے کمپریس کرتا ہے۔

CoAI ایک خود میزبان ملٹی ٹیننٹ AI پلیٹ فارم ہے جو چاٹ انٹرفیس اور OpenAI مطابق گیٹ وے کو یکجا کرتا ہے، جس میں ملٹی پرووائیڈر چینل روٹنگ، سبسکرپشن بلنگ، ایڈمن ڈیش بورڈ، فائل پارسنگ اور SearXNG ویب تلاش شامل ہے۔

ایک ہلکا پھلکا پراکسی جو Azure OpenAI API کی درخواستوں کو LiteLLM کے ذریعے DeepSeek، Anthropic، یا Ollama جیسے بیک اینڈز میں تبدیل کرتا ہے، جس سے JetBrains IDEs جیسے Azure-مطابق ٹولز کے ذریعے متحد رسائی ممکن ہوتی ہے۔

Inja LLM Gateway ایک بے حالت API گیٹ وے ہے جو OpenAI، Anthropic اور Gemini کی درخواستوں کو متعدد فراہم کنندگان پر روٹ کرتا ہے، کراس ڈائیلیکٹ ترجمہ، استعمال کی پیمائش اور سنگل بائنری ڈیپلائمنٹ کے ساتھ۔

ایک OpenAI-مطابق فیل اوور پراکسی جو خودکار طور پر LLM فراہم کنندگان کے درمیان سوئچ کرتی ہے تاکہ بلا تعطل سروس اور کم تاخیر کو یقینی بنایا جا سکے۔

One API ایک یونائفائیڈ LLM API مینجمنٹ اور تقسیم سسٹم ہے جو OpenAI، Azure، Anthropic Claude، Google Gemini، DeepSeek سمیت درجنوں مقبول ماڈلز کی حمایت کرتا ہے، یکساں OpenAI فارمیٹ انٹرفیس، ٹوکن مینجمنٹ، چैनل لوڈ بیلنسنگ، صارف گروپنگ اور ثانوی تقسیم کی خصوصیات فراہم کرتا ہے۔

صرف SQLite کا استعمال کرتے ہوئے کریڈنشل پولنگ، فیل اوور، اور خودکار نئی API چینل کی تال میل کے ساتھ ایک ہلکا پھلکا OpenAI/Anthropic ریلے گیٹ وے۔