इस प्रोजेक्ट के बारे में

Bifrost एक उच्च-प्रदर्शन AI गेटवे है जिसका डिज़ाइन 23 से अधिक AI प्रदाताओं—जैसे OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure आदि—के लिए एकीकृत पहुँच प्रदान करने के लिए किया गया है, जो एकमात्र OpenAI-संगत API के माध्यम से काम करता है। यह Redis की आवश्यकता को समाप्त करता हुआ, Bun और PostgreSQL 18 का लाभ उठाते हुए अर्थपूर्ण स्नेह (semantic caching), O(1) बिलिंग, स्वचालित विभाजन, और स्वचालित विफलता फेहरस्त (automatic failover) जैसे सुविधाएँ प्रदान करता है। बेन्चमार्क दर्शाते हैं कि यह 5k RPS पर प्रति अनुरोध केवल 11 μs का ओवरहेड जोड़ता है, 100% सफल दर और उप-माइक्रोसेकंड कतार प्रतीक्षा समय के साथ। तैनाती सरल बनाई गई है: उपयोगकर्ता NPX या Docker के माध्यम से एक मिनट से भी कम समय में स्थानीय रूप से शुरू कर सकते हैं, फिर एम्बेडेड वेब UI के माध्यम से कॉन्फ़िगर कर सकते हैं। यह OpenAI, Anthropic, और Google GenAI के लिए ड्रॉप-इन SDK प्रतिस्थापन समर्थित करता है जहाँ केवल URL बदलना पर्याप्त होता है। उन्नत क्षमताओं में बाह्य टूल एकीकरण के लिए मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP), बहुआधार समर्थन (पाठ, छवियाँ, ऑडियो), कस्टम प्लगइन्स, भर्चुअल कुंजियों के साथ शासन, बजट प्रबंधन, OIDC उपयोगकर्ता प्रोविजनिंग, और Prometheus व वितरित ट्रेसिंग के माध्यम से पर्यवेक्षण शामिल हैं। संरचना मॉड्यूलर है, जिसमें प्रदाताओं, कॉन्फ़िगरेशन स्टोरेज, HTTP ट्रांसपोर्ट, UI, और एक्सटेंसिबल प्लगइन्स के लिए घटक शामिल हैं। उद्यम तैनाती क्लस्टरेिंग, अनुकूली लोड संतुलन, गार्डरेल, और गुप्त प्रबंधन को अनलॉक करती है। दस्तावेज़ीकरण सेटअप, LangChain, LiteLLM, और अन्य के साथ एकीकरण, साथ ही प्रदर्शन बेन्चमार्क और योगदान दिशानिर्देशों को कवर करता है। यह Apache 2.0 लाइसेंस के तहत लाइसेंस प्राप्त है और Maxim द्वारा निर्मित है।