इस प्रोजेक्ट के बारे में

नेक्सस ऑर्केस्ट्रेटर (Nexus Orchestrator) बड़े भाषा मॉडल (LLMs) के लिए एक बुद्धिमान रूटिंग परत के रूप में कार्य करता है, जिससे उपयोगकर्ता एक ही इंटरफ़ेस के अंदर लोकल प्रदाताओं (जैसे Ollama) और क्लाउड APIs (OpenAI-compatible) को मिश्रित कर सकते हैं। यह प्रॉम्प्ट इरादे की वर्गीकरण के लिए एक हल्के रूटर मॉडल का उपयोग करता है जैसे CODING, REASONING, CREATIVE, VISION, और SECURITY, और स्वचालित रूप से उस श्रेणी के लिए नियत मॉडल पूल में अनुरोध भेजता है। मुख्य क्षमताएँ: - हाइब्रिड ऑर्केस्ट्रेशन: प्रत्येक श्रेणी के लिए लोकल और क्लाउड मॉडल्स के बीच निर्बाध स्विच। - टूल इंटीग्रेशन: MCP सर्वर्स (Model Context Protocol) का समर्थन करता है और टूल कॉलिंग के माध्यम से वेब सर्च व URL फ़ेचिंग के लिए स्व-होस्टेड SearXNG के साथ एकीकृत है। - बहु-उपयोगकर्ता प्रबंधन: प्रति-उपयोगकर्ता प्रदाता विन्यास, श्रेणी मैपिंग, और एडमिन डैशबोर्ड के साथ प्रोजेक्ट प्रबंधन शामिल है। - उन्नत LLM समर्थन: विज़न और दस्तावेज़ अपलोड हैंडल करता है, और गैलप्स UI खंड में तर्क श्रृंखलाओं (DeepSeek R1 जैसे) को दिखाने के लिए एक समर्पित "Thinking" टॉगल प्रदान करता है। - सुरक्षा एवं गोपनीयता: 100% लोकल रूटिंग विकल्पों सहित, बििल्ट-इन CORS, रेट लीमिटिंग, और SSRF सुरक्षा के साथ गोपनीयता-प्रथम संचालन के लिए डिज़ाइन किया गया है।