منصوبے کے بارے میں

یہ ایک مقامی deterministic LLM routing proxy ہے جو OpenAI اور Anthropic API درخواستوں کو قبول کرتا ہے اور انہیں قابلِ ترتیب، رول-بیسڈ اسکورنگ کی بنیاد پر بہترین دستیاب ماڈل کی طرف بھیجتا ہے — اس میں کوئی بے ترتیب انتخاب یا LLM-in-the-loop فیصلے شامل نہیں ہیں۔ یہ متعدد بیک اینڈز کو سپورٹ کرتا ہے بشمول OpenRouter (کلاؤڈ میٹا-پرووائیڈر)، oMLX (مقامی Apple Silicon ماڈلز)، Ollama، اور براہ راست کلاؤڈ پرووائیڈرز جیسے OpenAI، Groq، Gemini وغیرہ۔ سسٹم ہر درخواست کا جائزہ چار مرحلہ وار ماہر نظام (expert system) کے ذریعے لیتا ہے: پروفائل ریزولوشن، سخت فلٹرنگ (سیاق و سباق، modalities، پرائیویسی، قیمت کی حد)، ویٹڈ اسکورنگ (لاگت، تاخیر، context headroom، ترجیح، معیار)، اور پرووائیڈر کے مخصوص فلیگ انجکشن۔ صارفین چھ بلٹ-ان پروفائلز (مثلاً cheap, fast, private, smart, local) میں سے انتخاب کر سکتے ہیں یا کنفیگ کے ذریعے اپنی مرضی کے پروفائلز بنا سکتے ہیں۔ ہیڈرز یا باڈی فیلڈز کے ذریعے فی درخواست اسٹیئرنگ ممکن ہے۔ پراکسی میں چیٹ پلے گراؤنڈ، ماڈل کیٹلاگ، routing explain، استعمال کے اعداد و شمار اور لاگز کے لیے ایک ویب انٹرفیس شامل ہے؛ ساتھ ہی GUI کنفیگریشن کے لیے ایک نیٹو macOS مینو-بار ایڈمن ایپ بھی موجود ہے۔ یہ رینکڈ لسٹ میں نیچے جا کر فال بیک کے ذریعے اپ اسٹریم غلطیوں کو سنبھالتا ہے اور SSE جوابات کو براہ راست اسٹریم کرتا ہے۔ خصوصیات میں خودکار OpenRouter کی rotation، خفیہ معلومات کی حذف کاری (DLP)، API keys کے ساتھ پروفائل پننگ، اور Artificial Analysis کے ذریعے کوالٹی اسکورنگ شامل ہیں۔ مستقل کنفیگ اور SQLite ہسٹری کے ساتھ Docker سپورٹ فراہم کی گئی ہے۔ کوئی hot-reload نہیں ہے — کنفیگ تبدیلیوں کے بعد ری اسٹارٹ ضروری ہے۔ اسے Rust میں بنایا گیا ہے جس میں کنفیگ، کور لاجک، پرووائیڈرز اور ایڈمن ٹولز کے لیے ماڈیولر crates استعمال کیے گئے ہیں۔