প্রকল্প সম্পর্কে

llm-failover-proxy একটি একক লোকাল এন্ডপয়েন্ট (OpenAI-সামঞ্জস্যপূর্ণ) প্রদান করে যা LLM প্রদানকারীদের একটি অগ্রাধিকারযুক্ত চেইন পরিচালনা করে। যদি প্রধান মডেল রেট লিমিট, ত্রুটি বা টাইমআউটের কারণে ব্যর্থ হয়, তবে প্রক্সি অদৃশ্যভাবে চেইনের পরবর্তী উপলব্ধ মডেলে স্যুইচ করে, অ্যাপ্লিকেশনকে বাধাগ্রস্ত না করে। মূল সক্ষমতাগুলি অন্তর্ভুক্ত: - সমান্তরাল রেসিং: যদি পছন্দের মডেল ধীরগতিতে উত্তর দেয় (ডিফল্ট ৫ সেকেন্ড), তবে প্রক্সি সমান্তরালে পরবর্তী মডেলকে অনুরোধ করে, প্রথম ব্যবহারযোগ্য উত্তর গ্রহণ করে লেটেন্সি কমায়। - মডেল তালিকা: চ্যাট এবং এম্বেডিংসের মতো বিভিন্ন উদ্দেশ্যের জন্য একাধিক নামকৃত তালিকা সমর্থন করে, পৃথক চেইন তৈরি করে। - প্রদানকারী ব্যবস্থাপনা: API কী কনফিগারেশন, মডেল অগ্রাধিকার পরিচালনা এবং পারফরম্যান্স স্ট্যাটস মনিটর করার জন্য একটি টার্মিনাল UI অন্তর্ভুক্ত করে। - স্বাস্থ্য পর্যবেক্ষণ: সার্ভিসের লাইভনেস পরীক্ষা এবং মডেল অনুযায়ী সাফল্য/ব্যর্থতার হার ট্র্যাক করার জন্য এন্ডপয়েন্ট (/health, /stats) প্রদান করে। - ব্যাকগ্রাউন্ড অপারেশন: Windows, macOS এবং Linux-এ সিস্টেম লগইনের সময় স্বয়ংক্রিয়ভাবে শুরু হওয়া একটি ব্যাকগ্রাউন্ড সার্ভিস হিসেবে ইনস্টল করা যায়। - সামঞ্জস্যতা: স্ট্রিমিং, টুল/ফাংশন কলিং, ভিশন এবং JSON মোড সমর্থন করে, যা সরাসরি প্রদানকারীদের কাছে পাঠানো হয়।