প্রকল্প সম্পর্কে

vLLM Semantic Router বিভিন্ন মডেল, অ্যাক্সিলারেটর এবং ডিপ্লয়মেন্ট অবস্থান জুড়ে একাধিক LLM পরিচালনা করা প্রতিষ্ঠানগুলোর জন্য একটি রাউটিং স্তর প্রদান করে। অ্যাপ্লিকেশনগুলোর মধ্যে সরাসরি মডেল-নির্বাচন লজিক এমবেড করার পরিবর্তে, দলগুলো এমন নীতি নির্ধারণ করতে পারে যা আগত অনুরোধ, ব্যবহারকারীর পছন্দ, ওয়ার্কলোডের বৈশিষ্ট্য এবং অবকাঠামো বা ডেটা-সীমানা সীমাবদ্ধতা মূল্যায়ন করে। এরপর রাউটার একটি উপযুক্ত মডেল পথ বেছে নিতে পারে বা একটি অনুরোধের জন্য একাধিক মডেল সংযোজন করতে পারে। প্রকল্পটি ভিন্নধর্মী ইনফারেন্স পরিবেশকে লক্ষ্য করে, যার মধ্যে GPU এবং অন্যান্য অ্যাক্সিলারেটর, এজ ও ক্লাউড ডিপ্লয়মেন্ট এবং ব্যক্তিগত বা পাবলিক অবকাঠামো অন্তর্ভুক্ত। এর ঘোষিত লক্ষ্যগুলোর মধ্যে রয়েছে ব্যবহারকারীদের গুণমান, খরচ, বিলম্ব, গোপনীয়তা এবং নিরাপত্তার ট্রেড-অফ পরিচালনায় সহায়তা করা, যখন প্রতিটি ওয়ার্কলোডের জন্য কোনো একক মডেল সেরা নয়। README-তে ব্যক্তিগতকৃত মডেল পথ, ক্রস-কম্পিউট রাউটিং এবং নির্ধারিত সীমানার মধ্যে ডেটা রাখার উদ্দেশ্যে নিয়ন্ত্রণ বর্ণনা করা হয়েছে। রিপোজিটরিটি Go-তে লেখা, Go 1.25 ব্যাজসহ, এবং একটি স্থিতিশীল ইনস্টলেশন স্ক্রিপ্টের পাশাপাশি pip, uv এবং এজেন্ট-চালিত ইনস্টলেশনের জন্য ডকুমেন্টেশন প্রদান করে। একটি অনলাইন প্লেগ্রাউন্ড উপলব্ধ, এবং প্রকল্পটি ডকুমেন্টেশন, ব্লগ পোস্ট, প্রকাশনা, Hugging Face রিসোর্স এবং একটি vLLM Slack চ্যানেলের লিঙ্ক দেয়। README-তে v0.1 Iris থেকে v0.3 Themis পর্যন্ত রিলিজের তালিকা রয়েছে, সাথে সেমান্টিক ক্যাশিং, রাউটিং সিদ্ধান্ত, হ্যালুসিনেশন সনাক্তকরণ, LoRA এক্সটেনসিবিলিটি এবং ফিউশন-সম্পর্কিত বৈশিষ্ট্য নিয়ে গবেষণাপত্র ও নিবন্ধ রয়েছে। কমিউনিটি অংশগ্রহণের মধ্যে রয়েছে মাসিক APAC- এবং Americas-বান্ধব মিটিং, একটি Slack চ্যানেল, অবদান নির্দেশিকা এবং এজেন্ট-ভিত্তিক ডেভেলপমেন্ট ডকুমেন্টেশন। AMD একটি স্পনসর হিসেবে তালিকাভুক্ত, যা রাউটার-মডেল গবেষণা, পরীক্ষা এবং অনলাইন প্লেগ্রাউন্ডের জন্য GPU রিসোর্স এবং ROCm সফটওয়্যার প্রদান করে।