sie

SIE(Superlinked Inference Engine)는 AI 에이전트가 필요로 하는 모든 모델을 단일 자체 호스팅 시스템에서 실행하도록 설계된 오픈소스 추론 서버 및 프로덕션 클러스터입니다. 작업별로 별도의 모델 서버를 둘 필요 없이, 100개 이상의 모델을 주문형으로 로드하여 제공하는 통합 API 하나로 대체합니다. 주요 기능은 다음과 같습니다: - **OpenAI 호환 API**: `/v1/embeddings`, `/v1/chat/completions`, `/v1/completions`, `/v1/responses` 같은 엔드포인트로 드롭인 마이그레이션 지원. - **사전 구성된 모델 카탈로그**: Stella, SPLADE, Qwen3, GLiNER, SigLIP 등을 포함하며, 임베딩 및 검색 모델은 MTEB에서 벤치마킹됨. - **멀티 모델 서빙**: 주문형 로드와 LRU 축출로 여러 모델을 동시에 제공. - **프로덕션 준비**: Kubernetes 및 Helm 배포 구성(로드 밸런싱 게이트웨이, KEDA 오토스케일링, Grafana 대시보드 포함) 제공. - **통합**: LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate, LanceDB와 호환. SIE는 검색(임베딩, 매칭, 리랭킹), 문서-마크다운 변환(PDF, Office 파일, 스캔), 구조화 출력(스키마 검증 JSON 추출), 의사 결정(선택, 예/아니오, 점수 응답), 분류, 콘텐츠 안전, 에이전트 루프 실행, 번역(400개 이상 언어), 이미지 캡셔닝 및 객체 감지, 오디오 전사 등 광범위한 작업을 처리합니다. 빠른 시작 옵션으로는 macOS/Linux용 pip을 통한 네이티브 설치, NVIDIA GPU용 Docker 이미지(모델 계열별 번들 이미지 포함) 및 CPU용 Docker 이미지가 있습니다. SDK는 Python(`sie-sdk`) 및 TypeScript(`@superlinked/sie-sdk`)로 제공됩니다. 프로덕션의 경우 SIE는 Alibaba Cloud ACK, AWS EKS, Azure AKS, Google GKE용 Terraform 모듈과 재현 가능한 클러스터 배포를 위한 Helm 차트를 제공합니다. 이 프로젝트는 Apache 2.0 라이선스이며 익명 사용 원격 측정을 수집합니다(환경 변수로 비활성화 가능).