local-optimind-api

Local OptiMind API는 단일 OpenAI 호환 엔드포인트를 사용하여 여러 AI 제공자(OpenAI, DeepSeek, Anthropic, Groq, Together, 로컬 LLM) 간에 LLM 요청을 라우팅하는 오픈 소스 로컬 실행 게이트웨이입니다. 이 시스템은 설정 가능한 모드(비용 우선, 품질 우선 또는 균형)를 기반으로 각 요청에 대해 최적의 제공자를 지능적으로 선택합니다. 시스템에는 자동 모델 검색, 사용자 정의 가격 책정 계층, 지수 백오프를 포함한 상태 추적, 요청 로깅 및 SSE 스트리밍 지원이 포함되어 있습니다. 관리자 대시보드를 통해 웹 UI에서 제공자, 모델, 가격을 관리하고 로그를 확인할 수 있습니다. 클라이언트는 Python, JavaScript/TypeScript, Go, Java, .NET에서 동일한 API로 제공됩니다. 라우터는 실패 시 폴백 라우팅, 정확한 일치 항목이 없을 때 작업 기반 모델 추론을 지원하며, 쉬운 배포를 위해 Docker와 통합됩니다. 아키텍처에는 상태 필터링, 모델 매칭, 스코어링 로직 및 실행 레이어가 포함됩니다. 설정은 환경 변수를 통해 관리됩니다. MIT 라이선스로 제공되며, 새로운 제공자 어댑터, 토큰 카운팅 및 라우팅 전략에 대한 기여를 환영합니다.