প্রকল্প সম্পর্কে

Azure OpenAI Proxy হলো একটি রাউটার যা বিভিন্ন LLM API সংস্করণকে একটি সাধারণ OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেসে খাপ খাইয়ে নেওয়ার জন্য ডিজাইন করা হয়েছে। এটি ক্লায়েন্ট এবং Azure OpenAI ইনস্ট্যান্সের মধ্যে একটি ম্যানেজমেন্ট লেয়ার প্রদান করে যাতে উচ্চ প্রাপ্যতা এবং নিয়ন্ত্রিত ব্যবহার নিশ্চিত করা যায়। এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - Routing & Load Balancing: এটি একাধিক Azure OpenAI ইনস্ট্যান্স সমর্থন করে এবং এর রাউটিং কৌশলের মধ্যে failover, weighted এবং round-robin অন্তর্ভুক্ত। - Traffic Control: এটি Tokens Per Minute (TPM)-এর উপর ভিত্তি করে স্বয়ংক্রিয় রেট লিমিটিং বাস্তবায়ন করে। - Instance Management: এটি ইনস্ট্যান্স যোগ করা, আপডেট করা, অপসারণ করা এবং যাচাই করার জন্য একটি বিস্তৃত API এন্ডপয়েন্ট সেট প্রদান করে, সেইসাথে তাদের স্বাস্থ্য এবং পারফরম্যান্স মেট্রিক্স মনিটর করে। - Configuration Flexibility: এটি একটি হায়ারার্কিকাল কনফিগারেশন সিস্টেম (YAML, এনভায়রনমেন্ট ভেরিয়েবল এবং SQLite) ব্যবহার করে, যা পরিষেবা রিস্টার্ট না করেই hot-reloading সমর্থন করে। - Persistence & Reliability: এটি স্টেট ম্যানেজমেন্ট এবং কনফিগারেশন পারসিস্টেন্সের জন্য SQLite ব্যবহার করে, যার মধ্যে ভার্সন হিস্ট্রি, রোলব্যাক ক্ষমতা এবং ব্যাকআপ ও হেলথ চেকের জন্য ডেডিকেটেড মেইনটেন্যান্স ইউটিলিটি রয়েছে। - API Compatibility: এটি চ্যাট কমপ্লিশন, কমপ্লিশন এবং এমবেডিংয়ের জন্য স্ট্যান্ডার্ড OpenAI এন্ডপয়েন্ট সমর্থন করে।