প্রকল্প সম্পর্কে

Route67 একটি হালকা ওজনের LLM রাউটিং সিস্টেম যা OpenAI-সামঞ্জস্যপূর্ণ চ্যাট কমপ্লিশন API-র জন্য ডিজাইন করা হয়েছে। এটি ব্যবহারকারীদের একটি রাউটিং টেবিল সংজ্ঞায়িত করতে দেয় যা প্রাকৃতিক ভাষার কুয়েরিগুলোকে লক্ষ্য মডেলের সাথে ম্যাপ করে (যেমন, 'এই উপপাদ্যটি প্রমাণ কর' → 'strong_model')। রানটাইমে, আগত কুয়েরিগুলো একটি সেনটেন্স ট্রান্সফরমার মডেল দ্বারা গণনা করা কোসাইন সাদৃশ্য ব্যবহার করে রাউটিং টেবিলের সাথে ম্যাচ করা হয়। যদি কোনো ম্যাচ একটি কনফিগারযোগ্য থ্রেশহোল্ড অতিক্রম না করে, তবে একটি নির্ধারিত 'weak_model' দারোয়ান হিসেবে কাজ করে: এটি তার বিচারের ভিত্তিতে সরাসরি উত্তর দেয় অথবা একটি শক্তিশালী মডেলে এসকেলেট করে। সিস্টেমটি একটি কাস্টম ক্লায়েন্ট ইনজেক্ট করে যেকোনো OpenAI-সামঞ্জস্যপূর্ণ প্রদানকারীকে (যেমন, OpenRouter) সমর্থন করে। রাউটিং কনফিগারেশনের মডেল নামগুলি অপরিবর্তিতভাবে পাস করা হয়, যা রাউটিং লজিক পরিবর্তন না করেই নমনীয় ব্যাকএন্ড সুইচিং সক্ষম করে। প্রদানকারী-নির্দিষ্ট অনুরোধ বিকল্প (যেমন extra_body) এবং প্রতিক্রিয়া ক্ষেত্র (যেমন reasoning_details) সংরক্ষিত থাকে। রাউটিং টেবিল এন্ট্রিগুলি শুধুমাত্র "weak_model" বা "strong_model" উল্লেখ করে; প্রকৃত মডেল শনাক্তকারী ModelSpec অবজেক্টে থাকে। ModelSpec থেকে ব্যবহারের নোটগুলি দুর্বল মডেলের সিস্টেম প্রম্পটে ইনজেক্ট করা হয় এসকেলেশন আচরণ নির্দেশিত করতে। এম্বেডিং মডেল (minishlab/potion-base-8M) প্রথম ব্যবহারে ধীরে ডাউনলোড হয়। রিপোজিটরিতে রাউটিং নির্ভুলতা এবং থ্রেশহোল্ড সংবেদনশীলতা মূল্যায়নের জন্য সিনথেটিক ডেটাসেট ব্যবহার করে বেঞ্চমার্কিং টুল অন্তর্ভুক্ত রয়েছে। এগুলি উন্নয়ন এবং টিউনিংয়ের জন্য উদ্দেশ্যপ্রণোদিত, স্ট্যান্ডার্ড PyPI ইনস্টলের অংশ নয়। ইনস্টলেশনের জন্য Python 3.10+ প্রয়োজন এবং pip বা uv এর মাধ্যমে করা যেতে পারে। উদাহরণ কোড পরিবেশ চলক এবং মৌলিক রাউটিং লজিক সহ ন্যূনতম সেটআপ প্রদর্শন করে।