منصوبے کے بارے میں

llm-voucher-gateway ایک خصوصی ایپلیکیشن ہے جو vLLM (Very Large Language Model) سرورز کے لیے ریورس پراکسی کا کردار ادا کرتی ہے۔ اس کا بنیادی کام یہ ہے کہ درخواستوں کے بنیادی ماڈل سرونگ انفراسٹرکچر تک پہنچنے سے پہلے ٹوکن پر مبنی تصدیق کو نافذ کر کے سیکیورٹی اور رسائی کنٹرول کی ایک تہہ شامل کرے۔ یہ ٹول خاص طور پر ان تنظیموں کے لیے مفید ہے جو بڑے لینگویج ماڈلز تعینات کرتی ہیں جہاں vLLM اینڈ پوائنٹ کو براہ راست ظاہر کرنا مناسب نہیں ہوتا۔ vLLM سرور کے سامنے بیٹھ کر، گیٹ وے آنے والی درخواستوں کو ٹوکنز یا واؤچرز کے ایک سیٹ کے خلاف تصدیق کرتا ہے۔ صرف تصدیق شدہ درخواستیں ماڈل سرور کو بھیجی جاتی ہیں، جبکہ غیر مجاز کوششیں مسترد کر دی جاتی ہیں۔ اہم خصوصیات میں شامل ہیں: - **ریورس پراکسی فعالیت**: درست API درخواستوں کو شفاف طور پر vLLM بیک اینڈ کو بھیجتا ہے۔ - **ٹوکن پر مبنی تصدیق**: یقینی بناتا ہے کہ صرف درست ٹوکن رکھنے والے کلائنٹس ہی LLM سروس کے ساتھ تعامل کر سکیں۔ - **سیکیورٹی لیئر**: vLLM سرور کو براہ راست، غیر تصدیق شدہ رسائی سے بچاتا ہے، حملے کی سطح کو کم کرتا ہے۔ یہ حل ان انفراسٹرکچر سیٹ اپس میں اچھی طرح فٹ بیٹھتا ہے جن میں جنریٹو AI ماڈلز تک کنٹرول شدہ رسائی درکار ہوتی ہے، جس سے منتظمین صرف نیٹ ورک سطح کی پابندیوں کے بجائے ٹوکن جاری کرنے کے ذریعے استعمال کا انتظام کر سکتے ہیں۔