প্রকল্প সম্পর্কে

LLM Router একটি FastAPI-ভিত্তিক ব্যাকএন্ড সার্ভিস যা ডিনামিকভাবে ব্যবহারকারীর প্রম্পটকে OpenAI, Google Gemini, এবং Mistral-এর মধ্যে সবচেয়ে উপযুক্ত Large Language Model (LLM)-এ রুট করতে তৈরি। এটি মডেলগুলিকে শুধুমাত্র কাঁচা পারফরম্যান্সের ওপর ভিত্তি করে নয়, বরং উপযোগিতা, খরচ এবং নির্ভরযোগ্যতা- এই তিনটি বিষয়ের ভারসাম্য বজায় রেখে একটি স্কোরিং সিস্টেমের মাধ্যমে মূল্যায়ন করে। সিস্টেমে তিনটি রুটিং মোড রয়েছে: ফুল অটো (সিস্টেম সেরা মডেল বেছে নেয়), সেমি-অটো (ব্যবহারকারী প্রদানকারী বেছে নেন, সিস্টেম মডেল বেছে নেয়), এবং ম্যানুয়াল (ব্যবহারকারী উভয়ই নির্দিষ্ট করেন)। এতে Mistral এম্বেডিং এবং কোসাইন সিমিলারিটি রিট্রিভাল দ্বারা চালিত Retrieval-Augmented Generation (RAG) সমর্থন রয়েছে, যা .txt, .md, এবং .pdf ফাইল সমর্থন করে। ব্যবহারকারীরা /upload এর মাধ্যমে নথি আপলোড এবং /clear-data এর মাধ্যমে ডেটা মুছে ফেলতে পারে। প্রতিটি ব্যবহারকারীর জন্য প্রসঙ্গ-সচেতন উত্তরের জন্য ২-টার কথোপকথন মেমোরি বজায় রাখা হয়। আর্কিটেকচার সিদ্ধান্ত-গ্রহণ এবং কার্যাবলিকে পৃথক রাখে: রুটিং লজিক মডেল নির্বাচন করে,而同 সময় ক্লায়েন্ট মডিউলগুলি প্রকৃত API কল পরিচালনা করে। যদি কোনো মডেল টোকেন সীমা ছাড়িয়ে যায় তবে তা ডিসকোয়ালিফাই করা হয়। উত্তরে প্রদানকারী, মডেল, কনফিডেন্স, ব্যবহৃত টোকেন এবং খরচের আনুমানিক হিসাবের মতো মেটাডেটা অন্তর্ভুক্ত থাকে। WebSocket সমর্থন রিয়েল-টাইম স্ট্রিমিং সক্ষম করে। ভবিষ্যৎ পরিকল্পনার মধ্যে রয়েছে ফিডব্যাক-চালিত টিউনিং, লোকাল LLM ইন্টিগ্রেশন এবং A/B টেস্টিং। প্রকল্পটি নিয়মিত উন্নয়নের অধীনে রয়েছে, ইচ্ছা-সচেতন রুটিং, খরচ অপ্টিমাইজেশন এবং RAG-এর মতো মূল ফিচারগুলো ইতিমধ্যে বাস্তবায়িত হয়েছে।