প্রকল্প সম্পর্কে
Nexus Orchestrator বড় ভাষ্য মডেলগুলোর (LLMs) জন্য একটি বুদ্ধিমান রাউটিং স্তর হিসেবে কাজ করে, যা ব্যবহারকারীদের একটি একক ইন্টারফেসে Ollama-এর মতো লোকাল প্রদানকারী এবং OpenAI-compatible মেঘ API সহ বিভিন্ন পরিষেবা একত্রিত করতে দেয়। এটি একটি হালকা রাউটার মডেল ব্যবহার করে অমূল্যবাদের উদ্দেশ্যকে CODING, REASONING, CREATIVE, VISION, এবং SECURITY-এর মতো শ্রেণিতে শ্রেণীবদ্ধ করে এবং স্বয়ংক্রিয়ভাবে অনুরোধ সেই বিভাগের নির্ধারিত মডেল পুলের কাছে পাঠিয়ে দেয়।
মূল ক্ষমতাগুলোর মধ্যে রয়েছে:
- হাইব্রিড অর্কেসট্রেশন: প্রতিটি বিভাগের জন্য লোকাল এবং ক্লাউড মডেলের মধ্যে নির্বিঘ্নে সwiching.
- টুল একত্রীকরণ: MCP সার্ভার সমর্থন করে এবং টুল কলিং এর মাধ্যমে ওয়েব সার্চ এবং URL ফেচিংয়ের জন্য আত্ম-হোস্টেড SearXNG-এর সাথে একত্রিত হয়।
- বহু-ব্যবহারকারী ব্যবস্থাপনা: প্রতি-ব্যবহারকারী প্রদানকারী কনফিগারেশন, বিভাগ মানচিত্রায়ন, এবং অ্যাডমিন ড্যাশবোর্ড সহ প্রকল্প ব্যবস্থাপনা অন্তর্ভুক্ত。
- উন্নত LLM সমর্থন: Vision এবং দলিল আপলোড পরিচালনা করে, এবং DeepSeek R1-এর মতো যুক্তি শৃঙ্খল প্রদর্শনের জন্য একটি নিবেদিত "Thinking" টগল প্রদান করে যা একটি Collapseযোগ্য UI বিভাগে দেখানো যায়。
- নিরাপত্তা ও গোপনীয়তা: 100% লোকাল রাউটিং বিকল্প সহ প্রাথমিক গোপনীয়তার জন্য ডিজাইন করা, যাতে বিল্ট-ইন CORS, রেট লিমিটিং, এবং URL ফেচিং-এর জন্য SSRF সুরক্ষা রয়েছে।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.