llm-router

SJMN은 높은 가용성을 보장하도록 설계된 LLM API 호출용 자체 호형 라우터입니다. 사용자는 OpenAI, Azure OpenAI, OpenRouter, Groq, 로컬 인스턴스(Ollama, LM Studio 등)와 같은 여러 OpenAI 호환 연결을 등록하고 우선순위 순서를 지정할 수 있습니다. 기본 연결이 타임아웃 또는 오류로 실패하면 라우터는 우선순위 목록의 다음 사용 가능한 연결로 자동フェ일오버합니다. 주요 기능: - 관리자 대시보드: React 기반 인터페이스로 연결 관리, API 키 생성, 요청/응답 로그 조회 - 라우팅 로직: 우선순위 번호 기반 자동フェ일오버(낮은 번호가 먼저 시도) - 플레이그라운드: 특정 연결 테스트 또는 일반적인 자동フェ일오버 로직 테스트를 위한 통합 채팅 인터페이스 - 건강 모니터링: 연결 ping 도구 및 온라인/오프라인 표시, 실시간 트래픽 트리거 상태 업데이트 - 보안: JWT 보호 관리자 접근 및 라우터 엔드포인트용 API 키 인증 시스템은 SQLite 데이터 영속성을 사용한 Node.js/Express 백엔드와 React/Vite 프론트엔드로 구축되었으며, Docker Compose를 통해 배포하거나 로컬에서 실행할 수 있습니다.