这个项目能做什么
Nexus Orchestrator 作为大型语言模型(LLM)的智能路由层,允许用户在单一界面中混合使用本地提供商(如 Ollama)和云端 API(OpenAI 兼容)。它采用轻量级路由模型将提示意图分类为 CODING(编码)、REASONING(推理)、CREATIVE(创意)、VISION(视觉)和 SECURITY(安全)等类别,并将请求自动分发到相应类别的指定模型池。
核心能力包括:
- 混合编排:可根据类别在本地和云端模型之间无缝切换。
- 工具集成:支持 Model Context Protocol(MCP)服务器,并集成自托管的 SearXNG 进行网页搜索和 URL 抓取(通过工具调用)。
- 多用户管理:包含按用户配置的提供程序设置、类别映射以及带管理面板的项目管理功能。
- 高级 LLM 支持:处理图像和文档上传,并提供专用的“思考”开关,以可折叠 UI 区域展示推理链(例如 DeepSeek R1)。
- 安全与隐私:以隐私优先设计,支持 100% 本地路由选项,内置 CORS 支持、速率限制和 SSRF 防护。
评论
0 评分人数达到10人后显示
登录后参与讨论。