इस प्रोजेक्ट के बारे में

Bifrost एक AI गेटवे है जो कई मॉडल प्रदाताओं, जिनमें OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama और Groq शामिल हैं, के सामने एक एकल OpenAI-संगत API प्रदान करता है। इसे npx या Docker के माध्यम से स्थानीय रूप से शुरू किया जा सकता है और अंतर्निहित वेब इंटरफ़ेस, API या कॉन्फ़िगरेशन फ़ाइलों के माध्यम से कॉन्फ़िगर किया जा सकता है। README में वर्णित मुख्य क्षमताएँ: - एकीकृत इंटरफ़ेस: सभी समर्थित प्रदाताओं के लिए एक OpenAI-संगत एंडपॉइंट। - विश्वसनीयता: प्रदाताओं और मॉडलों के बीच स्वचालित फॉलबैक, साथ ही API कुंजियों और प्रदाताओं में लोड संतुलन। - मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP): मॉडलों को फ़ाइल सिस्टम, वेब खोज और डेटाबेस जैसे बाहरी टूल कॉल करने की अनुमति देता है। - सिमेंटिक कैशिंग: लागत और विलंबता कम करने के लिए सिमेंटिक समानता के आधार पर प्रतिक्रियाओं को कैश करता है। - एक सामान्य इंटरफ़ेस के पीछे मल्टीमॉडल और स्ट्रीमिंग समर्थन। - शासन: वर्चुअल कुंजियाँ, उपयोग ट्रैकिंग, दर सीमा, टीमों और ग्राहकों के लिए पदानुक्रमित बजट प्रबंधन। - अवलोकन: Prometheus मेट्रिक्स, वितरित ट्रेसिंग और अनुरोध लॉगिंग। - शासन, JSON पार्सिंग, लॉगिंग, सिमेंटिक कैश, टेलीमेट्री, मॉकिंग और Maxim अवलोकन एकीकरण के लिए मॉड्यूल वाली प्लगइन प्रणाली। - क्लस्टरिंग, कस्टम प्लगइन्स, OIDC उपयोगकर्ता प्रावधान और गोपनीयता प्रबंधन जैसी एंटरप्राइज़ सुविधाएँ। तैनाती विकल्पों में एक HTTP गेटवे (npx या Docker), एम्बेडेड उपयोग के लिए एक Go SDK, और कोड परिवर्तन के बिना OpenAI, Anthropic और Google GenAI बेस URL के ड्रॉप-इन प्रतिस्थापन शामिल हैं। रिपॉजिटरी को core, framework, transports, ui, plugins, docs और tests निर्देशिकाओं में व्यवस्थित किया गया है। README 5,000 अनुरोध प्रति सेकंड पर बेंचमार्क परिणाम रिपोर्ट करता है, जिसमें कम अतिरिक्त विलंबता और 100% सफलता दर का दावा किया गया है, साथ ही पूर्ण बेंचमार्किंग दस्तावेज़ीकरण के लिंक भी दिए गए हैं। परियोजना Apache 2.0 के तहत लाइसेंस प्राप्त है।