প্রকল্প সম্পর্কে

LLM Router হলো একটি নমনীয় এবং দক্ষ API গেটওয়ে যা একাধিক Large Language Model (LLM) প্রোভাইডার এবং API কী-এর মধ্যে রিকোয়েস্ট বিতরণ করার জন্য ডিজাইন করা হয়েছে। Go ভাষায় লেখা এই টুলটি OpenAI chat completions এন্ডপয়েন্টের একটি ড্রপ-ইন রিপ্লেসমেন্ট হিসেবে কাজ করে। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে ব্যবহারের উপর ভিত্তি করে বুদ্ধিমান লোড ব্যালেন্সিং, খরচ অপ্টিমাইজেশনের জন্য ওয়েটেড মডেল সিলেকশন এবং লজিক্যাল মডেল গ্রুপ সংজ্ঞায়িত করার ক্ষমতা যা OpenAI এবং OpenRouter-এর মতো একাধিক প্রোভাইডারের সাথে ম্যাপ করা যায়। এটি Server-Sent Events (SSE)-এর মাধ্যমে পূর্ণ স্ট্রিমিং, রেসপন্স কমপ্রেশন এবং বিস্তারিত পারফরম্যান্স মনিটরিং সমর্থন করে, যেখানে Time to First Token (TTFT) এবং প্রতি সেকেন্ডে টোকেনের মতো মেট্রিক্স ট্র্যাক করা হয়। এই রাউটারটি রিডান্ডেন্সি এবং রেট-লিমিট প্রশমনের জন্য API কী ম্যানেজমেন্ট পরিচালনা করে, যা একটি নিরাপদ অথেন্টিকেশন লেয়ার এবং OpenAI-এর Responses API-এর সাথে সামঞ্জস্যতা প্রদান করে।