প্রকল্প সম্পর্কে

llm-voucher-gateway একটি বিশেষজ্ঞ অ্যাপ্লিকেশন যা vLLM (Very Large Language Model) সার্ভারের জন্য একটি রিভার্স প্রক্সি হিসেবে কাজ করে। এর মূল ফাংশন হল টোকেন-ভিত্তিক প্রমাণীকরণ প্রয়োগ করে অনুরোধ মৌলিক মডেল সার্ভিং ইনফ্রাস্ট্রাকচারের পৌঁছানোর আগে নিরাপত্তা এবং অ্যাক্সেস নিয়ন্ত্রণের একটি স্তর যোগ করা। এই টুলটি বড় ভাষা মডেল স্থাপনকারী সংস্থাগুলির জন্য বিশেষভাবে উপকারী, যেখানে vLLM এন্ডপয়েন্টের সরাসরি প্রকাশ করা পছন্দের নয়। vLLM সার্ভারের সামনে বসकर, গেটওয়ে একটি টোকেন বা ভাউচারের সেটের সাথে আসন্ন অনুরোধের যাচাই করে। শুধুমাত্র প্রমাণীকৃত অনুরোধগুলো মডেল সার্ভারে ফরওয়ার্ড করা হয়, অনপ্রমাণিত চেষ্টা বাতিল করা হয়। মुख্য বৈশিষ্ট্যগুলো অন্তর্ভুক্ত: - **রিভার্স প্রক্সি ফাংশনালিটি**: বৈধ API অনুরোধগুলো স্পষ্টভাবে vLLM ব্যাকএন্ডে ফরওয়ার্ড করে। - **টোকেন-ভিত্তিক প্রমাণীকরণ**: নিশ্চিত করে যে শুধুমাত্র বৈধ টোকেন ধারণকারী ক্লায়েন্টগুলো LLM সেবার সাথে ইন্টারঅ্যাক্ট করতে পারে। - **নিরাপত্তা স্তর**: প্রমাণহীন সরাসরি অ্যাক্সেস থেকে vLLM সার্ভারকে রক্ষা করে, আক্রমণ surface কমানো করে। এই সমাধানটি জেনারেটিভ AI মডেলের নিয়ন্ত্রিত অ্যাক্সেস প্রয়োজনীয় ইনফ্রাস্ট্রাকচার সেটআপে ভালভাবে ফিট হয়, যা প্রশাসকদের নেটওয়ার্ক-স্তরের সীমাবদ্ধতা মাত্রের পরিবর্তে টোকেন ইস্যু করার মাধ্যমে ব্যবহার ব্যবস্থাপনাকে অনুমতি দেয়।