প্রকল্প সম্পর্কে

LLM Router হলো একটি সার্ভার যা OpenAI-সামঞ্জস্যপূর্ণ API অনুরোধগুলিকে বিভিন্ন LLM প্রদানকারীদের মধ্যে রুট করার জন্য ডিজাইন করা হয়েছে। এটি একটি একীকৃত ইন্টারফেস প্রদান করে এবং OpenAI, Anthropic এবং Gemini ফরম্যাটের মধ্যে অনুরোধ ও প্রতিক্রিয়ার রূপান্তর পরিচালনা করে। প্রধান বৈশিষ্ট্যগুলো হলো: - মাল্টি-প্রদানকারী সাপোর্ট: OpenAI, Anthropic এবং Gemini API এন্ডপয়েন্টের সাথে সামঞ্জস্যপূর্ণ। - অনুরোধ/প্রতিক্রিয়া রূপান্তর: স্বয়ংক্রিয়ভাবে সমর্থিত API মানদের মধ্যে ডেটা ফরম্যাট অনুবাদ করে। - উন্নত মডেল নির্বাচন: পূর্ণ jq এক্সপ্রেশন সিנט্যাক্স ব্যবহার করে মডেল নির্বাচন সমর্থন করে, যা অনুরোধ বডি অনুযায়ী শর্তসাপেক্ষ রুটিং-এ অনুমতি দেয়। - রুটিং কৌশল: রাউন্ড-রবিন, র‍্যান্ডম এবং লিস্ট-কানেকশন কৌশল বাস্তবায়ন করে, যেখানে ওজন-ভিত্তিক বণ্টন রয়েছে। - ত্রুটি পরিচালনা: ব্যর্থতার পর স্বয়ংক্রিয়ভাবে একটি মডেলের ওজন হ্রাস করে। - কনফিগারেশন: YAML ফাইলের মাধ্যমে পরিচালিত হয়, যেখানে ব্যবহারকারীরা মডেল তালিকা, API কী, বেস URL এবং রুটিং গ্রুপ সংজ্ঞায়িত করতে পারেন।