منصوبے کے بارے میں

LLM گیٹ وے ایک ہلکا پھلکا، خود مختار پراکسی/راؤٹر ہے جسے مقامی ہارڈ ویئر کے ساتھ ذاتی سنگل-یوزر استعمال کے لیے ڈیزائن کیا گیا ہے۔ یہ متحرک طور پر متعدد Llama.cpp-مطابق انجنوں کا انتظام کرتا ہے، اور آنے والی درخواست کے پیرامیٹرز — خاص طور پر سیاق و سباق (context) کے سائز کی ضروریات — کی بنیاد پر مناسب ماڈل ورینٹ کا انتخاب اور اسے لانچ کرتا ہے۔ یہ سسٹم اسٹینڈالون ٹوکنائزر یا رننگ انجن اینڈ پوائنٹس کے ذریعے ٹوکن کے استعمال کا تخمینہ لگاتا ہے، ضرورت پڑنے پر بہتر کنفیگریشنز کے ساتھ انجنوں کو ری اسٹارٹ کرتا ہے، اور میموری بچانے کے لیے غیر فعالInstances کو بند کر دیتا ہے۔ یہ Lua اسکرپٹس (مثلاً example.cfg.lua) کے ذریعے کنفیگریشن کی حمایت کرتا ہے، جس میں سرور سیٹنگز اور مختلف سیاق و سباق کے سائز، بائنری راستوں، اور اسٹارٹ اپ دلائل کے ساتھ ماڈل ورینٹس کی تعریف کی جاتی ہے۔ صارفین متحرک سوئچنگ کے لیے فی ماڈل متعدد ورینٹس (مثلاً کم VRAM بمقابلہ اعلی کارکردگی) کنفیگور کر سکتے ہیں۔ گیٹ وے قابلِ کنفیگریشن IPv4/IPv6 ایڈریسز پر سنتا ہے اور OpenAI API-مطابق اینڈ پوائنٹس جیسے /v1/chat/completions اور /v1/models فراہم کرتا ہے۔ اندرونی لاکنگ کی وجہ سے ایک وقت میں صرف ایک درخواست پر کارروائی کی جاتی ہے۔ یہ فی الحال صرف چیٹ مکمل کرنے والے (chat completions) اینڈ پوائنٹ کو نافذ کرتا ہے اور صرف llama.cpp انجنوں کی حمایت کرتا ہے، اگرچہ اس کا آرکیٹیکچر توسیع کی اجازت دیتا ہے۔ سیٹ اپ میں init.bat/sh کے ذریعے Python ڈیپینڈنسیز انسٹال کرنا، کنفیگریشن فائلوں میں ترمیم کرنا، اور run.bat/sh یا uv run main.py کے ذریعے لانچ کرنا شامل ہے۔ انتباہ: غلط کنفیگریشن میموری کے خاتمے یا سسٹم کے منجمد ہونے کا سبب بن سکتی ہے۔ لوڈ ہونے پر ایمبیڈڈ Lua اسکرپٹس کا استعمال کرتے ہوئے کنفیگریشن کی تصدیق کی جاتی ہے۔ یہ ایک تجرباتی سافٹ ویئر ہے جو تحقیق/ٹیسٹنگ کے لیے ہے؛ اسے پروڈکشن استعمال کے لیے تجویز نہیں کیا جاتا۔