প্রকল্প সম্পর্কে

LLM Router হলো একটি ড্রপ-ইন OpenAI-সামঞ্জস্যপূর্ণ API, যা GLM, Kimi, Qwen এবং Doubao-সহ বিভিন্ন মডেলের মধ্যে স্বয়ংক্রিয়ভাবে রিকোয়েস্ট রাউট করার মাধ্যমে LLM অপারেশনাল খরচ কমাতে ডিজাইন করা হয়েছে। "auto" মডেল আইডেন্টিফায়ার ব্যবহার করে, সিস্টেমটি টাস্কের ধরণের উপর ভিত্তি করে মডেল নির্বাচন করে: সাধারণ টাস্কগুলো Doubao-তে, ভারসাম্যপূর্ণ টাস্কগুলো Qwen-এ এবং জটিল রিজনিং টাস্কগুলো Kimi বা GLM-এ রাউট করা হয়। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - বিভিন্ন প্রোভাইডারের মধ্যে মাল্টি-মডেল রাউটিং। - API খরচ কমাতে কস্ট অপ্টিমাইজেশন। - সহজ ইন্টিগ্রেশনের জন্য OpenAI-সামঞ্জস্যপূর্ণ API, যাতে উল্লেখযোগ্য কোড পরিবর্তনের প্রয়োজন হয় না। - ব্যর্থতা মোকাবিলার জন্য স্বয়ংক্রিয় ফলব্যাক মেকানিজম। - টাস্ক-ভিত্তিক স্মার্ট মডেল সিলেকশন।