প্রকল্প সম্পর্কে

বাইফ্রস্ট হলো একটি উচ্চ-কার্যক্ষমতাযুক্ত AI গেটওয়ে যা ওপেনএআই, অ্যানথ্রপিক, এডাব্লিউজি বেড্রক, গুগল ভার্টেক্স, আযার এবং অন্যান্য সহ ২৩টিরও বেশি AI প্রদানকারীর একক OpenAI-সামঞ্জস্যপূর্ণ API-এর মাধ্যমে একীভূত অ্যাক্সেস প্রদানের জন্য ডিজাইন করা হয়েছে। এটি বুঁ এবং PostgreSQL 18 ব্যবহার করে Redis-এর প্রয়োজনীয়তা দূর করে, যেখানে সেম্যান্টিক ক্যাশিং, O(1) বিলিং, অটো-পার্টিশনিং এবং স্বয়ংক্রিয় ফেয়ারওভারের মতো বৈশিষ্ট্য রয়েছে। বেন্চমার্ক দেখায় যে এটি ৫K RPS-এ প্রতিটি অনুরোধে মাত্র 11 μs ওভারহেড যোগ করে, 100% সফলতার হার এবং সাব-মাইক্রোসেকেন্ড কิว অপেক্ষার সময়সীমাসহ। ডিপ্লয়মেন্ট সরল: ব্যবহারকারীরা NPX বা Docker-এর মাধ্যমে একটি মিনিটেরও কম সময়ে স্থানীয়ভাবে শুরু করতে পারেন এবং তারপর এমবেডেড ওয়েব UI-এর মাধ্যমে কনফিগার করতে পারেন। এটি ওপেনএআই, অ্যানথ্রপিক এবং গুগল GenAI-এর জন্য ড্রপ-ইন SDK প্রতিস্থাপনকে এক-লাইন URL পরিবর্তনের সাথে সমর্থন করে। উন্নত সামর্থ্যগুলোর মধ্যে বহিঃগত টুল ইন্টিগ্রেশনের জন্য MCP (Model Context Protocol), বহুমুখী সহায়তা (টেক্সট, ছবি, অডিও), কাস্টম প্লাগইন, ভার্চুয়াল কি সহ শাসনব্যবস্থা, বাজেট ব্যবস্থাপনা, OIDC ইউজার প্রভিশনিং, এবং Prometheus ও ডিস্ট্রিবিউটেড ট্রেসিংয়ের মাধ্যমে পর্যবেক্ষণযোগ্যতা অন্তর্ভুক্ত। আর্কিটেকচার মডিউলার, যেখানে প্রদানকারী, কনফিগারেশন সংরক্ষণ, HTTP ট্রান্সপোর্ট, UI এবং সম্প্রসারযোগ্য প্লাগইনের উপাদান রয়েছে। এন্টারপ্রাইজ ডিপ্লয়মেন্টে ক্লাস্টারিং, অভিযোজিত লোড ব্যালেন্সিং, গার্ডরেইল এবং গোপনীয়তা ব্যবস্থাপনা আনলক করে। ডকুমেন্টেশনে সেটআপ, LangChain, LiteLLM এবং অন্যান্যের সাথে ইন্টিগ্রেশন, পারফর্ম্যান্স বেন্চমার্ক এবং অবদান নির্দেশিকা কভার করে। এটি Apache 2.0 লাইসেন্সের আওতায় প্রকাশিত হয়েছে, ম্যাক্সিম কর্তৃক নির্মিত।