منصوبے کے بارے میں

Local OptiMind API ایک اوپن سورس، مقامی طور پر چلنے والا گیٹ وے ہے جو ایک واحد OpenAI-مطابق اینڈ پوائنٹ کا استعمال کرتے ہوئے متعدد AI فراہم کنندگان (OpenAI, DeepSeek, Anthropic, Groq, Together, local LLMs) کے درمیان LLM درخواستوں کو روٹ کرتا ہے۔ یہ قابلِ ترتیب موڈز: cost-first، quality-first، یا balanced کی بنیاد پر ہر درخواست کے لیے موزوں ترین فراہم کنندہ کا ذہانت سے انتخاب کرتا ہے۔ اس سسٹم میں خودکار ماڈل ڈسکوری، کسٹم پرائسنگ ٹیرز، exponential backoff کے ساتھ ہیلتھ ٹریکنگ، درخواستوں کی لاگنگ، اور SSE اسٹریمنگ سپورٹ شامل ہے۔ ایک ایڈمن ڈیش بورڈ کے ذریعے ویب UI کے ذریعے فراہم کنندگان، ماڈلز، قیمتوں کے انتظام اور لاگز کو دیکھنے کی سہولت ملتی ہے۔ Python, JavaScript/TypeScript, Go, Java، اور .NET میں یکساں APIs کے ساتھ کلائنٹس دستیاب ہیں۔ راؤٹر ناکامی کی صورت میں fallback routing، اور جب درست میچ دستیاب نہ ہوں تو ٹاسک tabased ماڈل انفرنس کی حمایت کرتا ہے، اور آسان تعیناتی کے لیے Docker کے ساتھ مربوط ہے۔ آرکیٹیکچر میں ہیلتھ فلٹرنگ، ماڈل میچنگ، اسکورنگ لاجک، اور ایگزیکیوشن لیئرز شامل ہیں۔ کنفیگریشن کا انتظام environment variables کے ذریعے کیا جاتا ہے۔ یہ MIT لائسنس کے تحت ہے، اور نئے فراہم کنندہ اڈاپٹرز، ٹوکن کاؤنٹنگ، اور روٹنگ حکمت عملیوں کے لیے تعاون خوش آمدید ہے۔