منصوبے کے بارے میں

یہ منصوبہ ایک متحد REST API فراہم کرتا ہے جو متعدد AI سروس فراہم کنندگان — جن میں Ollama, OpenAI, Google Gemini, اور Hugging Face شامل ہیں — کو ایک ہی مستقل انٹرفیس کے پیچھے خلاصہ کرتا ہے۔ یہ ڈویلپرز کو بغیر کلائنٹ کوڈ تبدیل کیے فراہم کنندگان کو تبدیل یا ملاپ کرنے کی سہولت دیتا ہے۔ API ٹیکسٹ جنریشن، چیٹ کمپلیشنز، تصویر پر مبنی پرامپٹس (ملٹی موڈل)، اور ایمبیڈنگز کی حمایت کرتی ہے۔ خصوصیات میں API کلید کے ذریعے اختیاری توثیق، حقیقی وقت کی اسٹریمنگ جوابات، خودکار فراہم کنندہ روٹنگ، اور خودکار طور پر تیار شدہ OpenAPI دستاویزات شامل ہیں۔ اسے Docker Compose یا مقامی Python ایگزیکیوژن کے ذریعے آسان ڈپلائمنٹ کے لیے ڈیزائن کیا گیا ہے۔ ترتیب ماحول کے متغیرات کے ذریعے منظم کی جاتی ہے، جس سے انفرادی فراہم کنندگان کو فعال یا غیر فعال کرنے اور ماڈل مخصوص پیرامیٹرز سیٹ کرنے کی سہولت ملتی ہے۔ سسٹم صحت کی جانچ (health checks) اور ماڈل کی فہرست کے اینڈ پوائنٹس بھی فراہم کرتا ہے۔ توسیعی آرکیٹیکچر نئی فراہم کنندگان کے اضافے کی اجازت دیتا ہے۔ مینیجمنٹ کمانڈز (Makefile کے ذریعے) جیسے start, stop, logs, اور شیل ایکسیس جیسے لائف سائیکل آپریشنز کو آسان بناتے ہیں۔ MIT لائسنس کے تحت جاری۔