প্রকল্প সম্পর্কে

LLM Router হলো একটি প্রক্সি সার্ভার এবং Python লাইব্রেরি যা একাধিক Large Language Model (LLM) প্রোভাইডারকে একটি একক এন্ডপয়েন্টে একত্রিত করে। এটি ব্যবহারকারীদের একটি YAML ফাইলের মাধ্যমে কনফিগারেশন পরিচালনা করে API কী বা কোডবেস পরিবর্তন না করেই বিভিন্ন মডেলের সাথে ইন্টারঅ্যাক্ট করার সুযোগ দেয়। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - **মাল্টি-প্রোভাইডার সাপোর্ট**: Google, Cohere, Mistral, OpenRouter, Cerebras, Groq, Hugging Face, Kilo Code, llm7.io এবং NVIDIA NIM সহ ১০টি প্রোভাইডারের সাথে সরাসরি ইন্টিগ্রেশন। - **ইন্টেলিজেন্ট রাউটিং**: সক্ষমতা (ভিশন, টুল ব্যবহার ইত্যাদি), কনটেক্সট উইন্ডো সাইজ এবং কোয়ালিটি মোড (quality, fast, cheap, অথবা code)-এর উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে মডেল নির্বাচন করে। - **নির্ভরযোগ্যতা বৈশিষ্ট্য**: এক্সপোনেনশিয়াল ব্যাকঅফ রিট্রাই, ব্যর্থতার ক্ষেত্রে বিকল্প মডেলে স্বয়ংক্রিয় ফলব্যাক এবং রেট-লিমিটেড কী-এর জন্য কুলডাউনসহ কী রোটেশন বাস্তবায়ন করে। - **OpenAI সামঞ্জস্যতা**: এতে একটি লোকাল সার্ভার রয়েছে যা একটি OpenAI-সামঞ্জস্যপূর্ণ API প্রদান করে, যা Void এবং Continue-এর মতো এডিটরগুলোর সাথে সামঞ্জস্যপূর্ণ। - **অবজারভেবিলিটি**: ইতিহাস এবং অডিটিংয়ের জন্য সমস্ত রিকোয়েস্ট এবং রেসপন্স একটি লোকাল SQLite ডাটাবেসে লগ করে। - **নমনীয় ব্যবহার**: এটি একটি স্বতন্ত্র লোকাল সার্ভার হিসেবে অথবা সরাসরি Python প্রজেক্টে লাইব্রেরি হিসেবে ব্যবহার করা যেতে পারে।