sie

SIE（Superlinked Inference Engine）は、AIエージェントが必要とするすべてのモデルを単一のセルフホスト型システムから実行するために設計されたオープンソースの推論サーバーおよび本番クラスタです。タスクごとに個別のモデルサーバーを用意する必要をなくし、100以上のモデルを提供する単一の統合APIを提供し、オンデマンドでロードします。 主な機能は次のとおりです。 - **OpenAI互換API**: `/v1/embeddings`、`/v1/chat/completions`、`/v1/completions`、`/v1/responses` などのエンドポイントにより、そのまま移行できます。 - **事前設定済みモデルカタログ**: Stella、SPLADE、Qwen3、GLiNER、SigLIPなどを含み、埋め込みおよび検索モデルはMTEBでベンチマークされています。 - **マルチモデル提供**: オンデマンドロードとLRUエビクションにより、複数のモデルを同時に提供します。 - **本番対応**: ロードバランシングゲートウェイ、KEDAオートスケーリング、Grafanaダッシュボードを含むKubernetesおよびHelmのデプロイ設定を同梱しています。 - **統合**: LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDBと連携します。 SIEは幅広いタスクを処理します。検索（埋め込み、マッチング、リランキング）、ドキュメントからMarkdownへの変換（PDF、Officeファイル、スキャン）、構造化出力（スキーマ検証済みJSON抽出）、意思決定（選択、はい/いいえ、スコア回答）、分類、コンテンツ安全性、エージェントループ実行、翻訳（400以上の言語）、画像キャプションと物体検出、音声文字起こしなどです。 クイックスタートの選択肢には、macOS/Linux向けのpipによるネイティブインストール、またはNVIDIA GPU（モデルファミリーごとのバンドル別イメージあり）およびCPU向けのDockerイメージがあります。SDKはPython（`sie-sdk`）およびTypeScript（`@superlinked/sie-sdk`）で利用できます。 本番環境向けに、SIEはAlibaba Cloud ACK、AWS EKS、Azure AKS、Google GKE向けのTerraformモジュールを提供し、再現可能なクラスタデプロイ用のHelmチャートも提供しています。このプロジェクトはApache 2.0ライセンスであり、匿名の使用状況テレメトリを収集します（環境変数で無効化可能）。