nexus-orchestrator

Nexus Orchestrator는 대규모 언어 모델(LLM)을 위한 지능형 라우팅 계층으로 작동하여, 사용자가 단일 인터페이스 내에서 Ollama와 같은 로컬 제공업체와 클라우드 API(OpenAI 호환)를 혼합할 수 있도록 합니다. 가벼운 라우터 모델을 사용하여 프롬프트 의도를 CODING, REASONING, CREATIVE, VISION, SECURITY 등의 범주로 분류하고, 해당 범주의 지정된 모델 풀로 요청을 자동으로 전송합니다. 주요 기능: - 하이브리드 오케스트레이션: 카테고리별로 로컬과 클라우드 모델 간에 원활하게 전환. - 도구 통합: Model Context Protocol(MCP) 서버를 지원하며, 도구 호출을 통해 웹 검색 및 URL 가져오기에 자체 호스팅 SearXNG와 통합됩니다. - 멀티 사용자 관리: 관리자 대시보드를 포함한 사용자별 제공업체 구성, 카테고리 매핑 및 프로젝트 관리 지원. - 고급 LLM 지원: 비전 및 문서 업로드 처리, DeepSeek R1 등의 추론 체인을 접이식 UI 섹션에 표시하는 전용 "Thinking" 토글 제공. - 보안 및 프라이버시: 100% 로컬 라우팅 옵션을 갖춘 프라이버시 퍼스트 설계로, 빌트인 CORS,Rate limiting 및 URL 가져오기를 위한 SSRF 보호 기능을 제공합니다.