منصوبے کے بارے میں

Nexus Orchestrator Large Language Models (LLMs) کے لیے ایک انچیلیجنٹ راؤٹنگ تہہ کے طور پر کام کرتا ہے، جس سے صارفین مقامی فراہم کنندگان (جیسے Ollama) اور کلاؤڈ APIs (OpenAI-compatible) کو ایک ہی انٹرفیس میں ملا سکتے ہیں۔ یہ ہلکا weight راؤٹر ماڈل استعمال کرتا ہے تاکہ پرامپٹ کے ارادے کی درجہ بندی CODING, REASONING, CREATIVE, VISION, اور SECURITY جیسی زمروں میں کر سکے اور درخواست کو خودکار طور پر اس زمروں کے مخصوص ماڈل pool کی طرف بھیج دے۔ اہم خصوصیات: - Hybrid Orchestration: ہر زمرے کے لیے مقامی اور کلاؤڈ ماڈلز کے درمیان بغیر کسی رکاوٹ کے تبدیل کریں۔ - Tool Integration: Model Context Protocol (MCP) سرورز کی حمایت کرتا ہے اور web search اور URL fetching کے لیے self-hosted SearXNG کے ساتھ tool calling کے ذریعے integration فراہم کرتا ہے۔ - Multi-User Management: ہر صارف کے لیے provider configurations، category mappings، اور admin dashboard کے ساتھ project management شامل ہے۔ - Advanced LLM Support: vision اور document uploads کو handle کرتا ہے، اور reasoning chains (جیسے DeepSeek R1 کے لیے) کو collapsible UI section میں دکھانے کے لیے dedicated "Thinking" toggle فراہم کرتا ہے۔ - Security & Privacy: privacy-first operation کے لیے ڈیزائن کیا گیا ہے جس میں 100% local routing options شامل ہیں، اور built-in CORS, rate limiting, اور SSRF protection کے ساتھ URL fetching کی حفاظت کرتا ہے۔