প্রকল্প সম্পর্কে

LLM Router হলো একটি FastAPI অ্যাপ্লিকেশন যা একাধিক AI ব্যাকএন্ডের জন্য একটি ইউনিফাইড প্রক্সি হিসেবে কাজ করার জন্য ডিজাইন করা হয়েছে এবং একই সাথে OpenAI Chat Completions API-এর সাথে পূর্ণ সামঞ্জস্য বজায় রাখে। এটি ডেভেলপারদের একটি প্রায়োরিটি-ভিত্তিক সিস্টেম এবং স্বয়ংক্রিয় ফেইলওভার ব্যবহার করে বিভিন্ন প্রোভাইডারের—যার মধ্যে OpenAI, Cerebras, DeepInfra এবং লোকাল Ollama ইনস্ট্যান্স অন্তর্ভুক্ত—মধ্যে রিকোয়েস্ট রাউট করার সুযোগ দেয়। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - মাল্টি-ব্যাকএন্ড রাউটিং: প্রাপ্যতা এবং প্রায়োরিটির উপর ভিত্তি করে বিভিন্ন AI সার্ভিসের মধ্যে নিরবচ্ছিন্নভাবে পরিবর্তন করা যায়। - OpenAI সামঞ্জস্যতা: শুধুমাত্র বেস URL পরিবর্তন করে বিদ্যমান OpenAI-ভিত্তিক অ্যাপ্লিকেশনের জন্য একটি ড্রপ-ইন রিপ্লেসমেন্ট হিসেবে কাজ করে। - রেজিলিয়েন্স ফিচার: প্রাথমিক সার্ভিস ব্যর্থ হলে বা রেট লিমিটে পৌঁছালে সেকেন্ডারি ব্যাকএন্ডে স্বয়ংক্রিয় ফেইলওভার বাস্তবায়ন করে। - ট্রাফিক ম্যানেজমেন্ট: স্লাইডিং উইন্ডো অ্যালগরিদম ব্যবহার করে একটি বিল্ট-ইন রেট লিমিটিং সিস্টেম এবং অথেন্টিকেশনের জন্য একাধিক API কী সমর্থন করে। - মনিটরিং এবং স্ট্যাটস: হেলথ চেক, ব্যাকএন্ড স্ট্যাটাস এবং ব্যবহারের মেট্রিক্সের জন্য ডেডিকেটেড এন্ডপয়েন্ট প্রদান করে। - ফ্লেক্সিবল কনফিগারেশন: এনভায়রনমেন্ট-ভিত্তিক সেটআপ অথবা উন্নত JSON-ভিত্তিক রাউটিং রুলস সমর্থন করে। এই টুলটি বিশেষ করে সেইসব ডেভেলপারদের জন্য উপযোগী যারা তাদের কোডবেস পরিবর্তন না করেই মডেল প্রোভাইডার বৈচিত্র্যময় করার মাধ্যমে তাদের AI-চালিত অ্যাপ্লিকেশনের নির্ভরযোগ্যতা বৃদ্ধি করতে চান।