منصوبے کے بارے میں

Bifrost ایک ہائی پرفارمنس AI گیٹ وے ہے جو 23 سے زائد AI فراہم کنندگان — جن میں OpenAI، Anthropic, AWS Bedrock, Google Vertex, Azure اور دیگر شامل ہیں — کو ایک ہی OpenAI کے ہم آہنگ API کے ذریعے یکجا کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ Redis کی ضرورت کو ختم کرتے ہوئے Bun اور PostgreSQL 18 کا استعمال کرتا ہے، جس میں سیمانٹک کیچنگ، O(1) بلنگ، آٹو پارٹیشننگ اور خودکار فیئر اوور جیسی خصوصیات شامل ہیں۔ بینچ مارکس دکھاتے ہیں کہ یہ ہر درخواست پر صرف 11 μs کا اضافی اوور ہیڈ ڈالتا ہے جبکہ 5k RPS پر 100% کامیابی کی شرح اور سب مائیکرو سیکنڈ کی قطاریں انتظار کی اوقات فراہم کرتا ہے۔ ڈپلاۓمنٹ کو سادہ بنایا گیا ہے: صارفین NPX یا Docker کے ذریعے ایک منٹ سے بھی کم وقت میں مقامی طور پر شروع کر سکتے ہیں، پھر اینبیڈڈ ویب UI کے ذریعے ترتیب دے سکتے ہیں۔ یہ OpenAI، Anthropic اور Google GenAI کے لیے ڈراپ ان SDK متبادل کی حمایت کرتا ہے، جس میں صرف URL تبدیل کرنے کی ضرورت ہوتی ہے۔ جدید صلاحیتوں میں Model Context Protocol (MCP) کے ذریعے بیرونی ٹول انضمام، ملتجملی سپورٹ (متن، تصاویر، آڈیو)، کسٹم پلگ انز، مجازی کنز کے ساتھ حکمرانی، بجٹ انتظام، OIDC یوزر پروونیننگ، اور Prometheus اور تقسیم شدہ ٹریسنس کے ذریعے مشاہدہ قابلیت شامل ہیں۔ اس کی تعمیر نوڈیولر ہے، جس میں فراہم کنندگان، کنفیگریشن اسٹوریج، HTTP ٹرانسپورٹ، UI اور توسیعی پلگ انز کے اجزاء شامل ہیں۔ انٹرپرائز ڈپلاۓمنٹس کلوسٹرنگ، ایڈاپٹو لوڈ بالانسنگ، گیڈ ریلس اور سیکرٹس مینجمنٹ کو کھولتی ہیں۔ دستاویزات سیٹ اپ، LangChain، LiteLLM اور دیگر کے ساتھ انٹیگریشنز، پرفارمنس بینچ مارکس اور شراکت داری کے رہنما اصولوں کا احاطہ کرتی ہیں۔ یہ Apache 2.0 لائسنس کے تحت جاری ہے اور Maxim نے بنایا ہے۔