প্রকল্প সম্পর্কে

LLMHub হলো OpenAI-কম্প্যাটিবল API-এর জন্য ডিজাইন করা একটি রিভার্স প্রক্সি সার্ভিস। এটি ব্যবহারকারীদের একাধিক আপস্ট্রিম API প্রোভাইডারকে একটি একক এন্ট্রি পয়েন্টে একত্রিত করতে দেয়, যেখানে একটি YAML কনফিগারেশন ফাইলের মাধ্যমে অথেন্টিকেশন এবং রিকোয়েস্ট রাউটিং পরিচালনা করা হয়। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - Provider Aggregation: কাস্টম বেস URL এবং ঐচ্ছিক HTTP প্রক্সি সেটিংসসহ একাধিক আপস্ট্রিম প্রোভাইডারের সমর্থন। - API Key Management: ডাউনস্ট্রিম ব্যবহারকারীদের জন্য কাস্টম API কী সংজ্ঞায়িত করার ক্ষমতা এবং লোড ব্যালেন্সিংয়ের জন্য একাধিক আপস্ট্রিম কী পরিচালনা করা। - Flexible Routing: রাউটিং রুলস যা মডেলের নাম বা পূর্বনির্ধারিত মডেল গ্রুপের উপর ভিত্তি করে ডাউনস্ট্রিম রিকোয়েস্টগুলোকে নির্দিষ্ট প্রোভাইডারের সাথে ম্যাপ করে। - Model Aliasing: জটিল অরিজিনাল মডেল নামের পরিবর্তে সহজ অ্যালিয়াস ম্যাপ করার সমর্থন। - Reliability: ব্যর্থ আপস্ট্রিম রিকোয়েস্টের জন্য কনফিগারযোগ্য রিট্রাই মেকানিজম।