প্রকল্প সম্পর্কে

LLMux হলো একটি Rust-ভিত্তিক গেটওয়ে যা একটি ইউনিফাইড API-এর মাধ্যমে একাধিক লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) প্রোভাইডার পরিচালনা করার জন্য ডিজাইন করা হয়েছে। এটি async Rust ব্যবহার করে ল্যাটেন্সি এবং ওভারহেড কমানোর ওপর গুরুত্ব দেয়। এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে: - Unified API: OpenAI এবং Anthropic (Claude)-এর মতো প্রোভাইডারদের সাথে ইন্টারঅ্যাক্ট করার জন্য একটি একক ইন্টারফেস প্রদান করে। - Key Management: লোড ব্যালেন্সিং সহজ করতে এবং রেট লিমিট এড়াতে API কী-এর স্বয়ংক্রিয় রোটেশন সমর্থন করে। - Traffic Control: প্রতি মিনিটে অনুরোধ এবং টোকেন ব্যবহারের (ইনপুট/আউটপুট) ওপর ভিত্তি করে রেট লিমিটিং এবং কোটা বাস্তবায়ন করে। - Observability: ব্যবহার এবং পারফরম্যান্স পর্যবেক্ষণের জন্য বিল্ট-ইন Prometheus মেট্রিক্স অন্তর্ভুক্ত রয়েছে। - Model Mapping: নির্দিষ্ট ব্যবহারের ক্ষেত্রে বিভিন্ন মডেল কনফিগার করার সুযোগ দেয়, যেমন 'default', 'fast', এবং 'premium'।