عن المشروع

SIE（Superlinked Inference Engine）是一个开源推理服务器和生产集群，旨在通过一个自托管系统运行 AI 智能体所需的所有模型。它通过提供一个可服务 100 多个模型并按需加载的 API，取代了为每个任务单独部署模型服务器的需求。 主要功能包括： - **兼容 OpenAI 的 API**：可通过 `/v1/embeddings`、`/v1/chat/completions`、`/v1/completions` 和 `/v1/responses` 等端点直接迁移。 - **预配置模型**：包含 Stella、SPLADE、Qwen3、GLiNER、SigLIP 等模型，其中嵌入和检索模型在 MTEB 上有基准测试结果。 - **多模型服务**：可同时服务多个模型，支持按需加载和 LRU 淘汰。 - **生产就绪**：提供 Kubernetes 和 Helm 部署配置，包括负载均衡网关、KEDA 自动扩缩容和 Grafana 仪表板。 - **集成**：可与 LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDB 配合使用。 SIE 可处理多种任务，包括搜索（嵌入、匹配、重排序）、文档转 Markdown（PDF、Office 文件、扫描件）、结构化输出（符合 schema 的 JSON 提取）、决策（选择、是/否、评分答案）、分类、内容安全、智能体循环执行、翻译（400 多种语言）、图像描述和目标检测，以及音频转录。 快速开始选项包括通过 pip 在 macOS/Linux 上原生安装，或使用面向 NVIDIA GPU（针对不同模型系列提供特定捆绑镜像）和 CPU 的 Docker 镜像。SDK 提供 Python（`sie-sdk`）和 TypeScript（`@superlinked/sie-sdk`）版本。 在生产环境中，SIE 提供适用于阿里云 ACK、AWS EKS、Azure AKS 和 Google GKE 的 Terraform 模块，以及用于可复现集群部署的 Helm chart。该项目采用 Apache 2.0 许可证，并会收集匿名使用遥测数据（可通过环境变量禁用）。