প্রকল্প সম্পর্কে

Bifrost হল একটি AI গেটওয়ে যা OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama এবং Groq সহ অনেক মডেল প্রদানকারীর সামনে একটি একক OpenAI-সামঞ্জস্যপূর্ণ API প্রদান করে। এটি npx বা Docker-এর মাধ্যমে স্থানীয়ভাবে শুরু করা যেতে পারে এবং বিল্ট-ইন ওয়েব ইন্টারফেস, API বা কনফিগারেশন ফাইলের মাধ্যমে কনফিগার করা যেতে পারে। README-তে বর্ণিত মূল ক্ষমতা: - একীভূত ইন্টারফেস: সমর্থিত প্রদানকারীদের জন্য একটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট। - নির্ভরযোগ্যতা: প্রদানকারী এবং মডেলের মধ্যে স্বয়ংক্রিয় ফলব্যাক, পাশাপাশি API কী এবং প্রদানকারী জুড়ে লোড ব্যালেন্সিং। - মডেল কনটেক্সট প্রোটোকল (MCP): মডেলগুলিকে ফাইল সিস্টেম, ওয়েব সার্চ এবং ডাটাবেসের মতো বাহ্যিক টুল কল করার সুযোগ দেয়। - সেমান্টিক ক্যাশিং: খরচ এবং লেটেন্সি কমাতে সেমান্টিক মিলের উপর ভিত্তি করে উত্তর ক্যাশ করে। - একটি সাধারণ ইন্টারফেসের পিছনে মাল্টিমোডাল এবং স্ট্রিমিং সাপোর্ট। - গভর্নেন্স: ভার্চুয়াল কী, ব্যবহার ট্র্যাকিং, রেট লিমিটিং, দল এবং গ্রাহকদের জন্য স্তরভিত্তিক বাজেট ব্যবস্থাপনা। - পর্যবেক্ষণযোগ্যতা: Prometheus মেট্রিক্স, ডিস্ট্রিবিউটেড ট্রেসিং এবং অনুরোধ লগিং। - গভর্নেন্স, JSON পার্সিং, লগিং, সেমান্টিক ক্যাশ, টেলিমেট্রি, মকিং এবং Maxim পর্যবেক্ষণ ইন্টিগ্রেশনের জন্য মডিউল সহ প্লাগইন সিস্টেম। - ক্লাস্টারিং, কাস্টম প্লাগইন, OIDC ব্যবহারকারী প্রভিশনিং এবং সিক্রেট ম্যানেজমেন্টের মতো এন্টারপ্রাইজ বৈশিষ্ট্য। ডিপ্লয়মেন্ট বিকল্পগুলির মধ্যে রয়েছে একটি HTTP গেটওয়ে (npx বা Docker), এমবেডেড ব্যবহারের জন্য একটি Go SDK, এবং কোনো কোড পরিবর্তন ছাড়াই OpenAI, Anthropic এবং Google GenAI বেস URL-এর ড্রপ-ইন প্রতিস্থাপন। রিপোজিটরিটি core, framework, transports, ui, plugins, docs এবং tests ডিরেক্টরিতে সংগঠিত। README প্রতি সেকেন্ডে 5,000 অনুরোধে বেঞ্চমার্ক ফলাফল রিপোর্ট করে, কম অতিরিক্ত লেটেন্সি এবং 100% সাফল্যের হার দাবি করে, সম্পূর্ণ বেঞ্চমার্কিং ডকুমেন্টেশনের লিঙ্ক সহ। প্রকল্পটি Apache 2.0-এর অধীনে লাইসেন্সকৃত।