sie

SIE (Superlinked Inference Engine) est un serveur d'inférence open source et un cluster de production conçu pour exécuter tous les modèles dont un agent d'IA a besoin à partir d'un seul système auto-hébergé. Il remplace la nécessité de serveurs de modèles distincts par tâche en fournissant une API unifiée qui sert plus de 100 modèles, en les chargeant à la demande. Les fonctionnalités clés incluent : - **API compatible OpenAI** : migration immédiate avec des endpoints comme `/v1/embeddings`, `/v1/chat/completions`, `/v1/completions` et `/v1/responses`. - **Catalogue de modèles préconfiguré** : inclut des modèles comme Stella, SPLADE, Qwen3, GLiNER, SigLIP, et plus encore, avec des modèles d'embedding et de retrieval évalués sur MTEB. - **Service multi-modèles** : sert plusieurs modèles simultanément avec chargement à la demande et éviction LRU. - **Prêt pour la production** : fournit des configurations de déploiement Kubernetes et Helm, incluant une passerelle d'équilibrage de charge, l'autoscaling KEDA et des tableaux de bord Grafana. - **Intégrations** : fonctionne avec LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate et LanceDB. SIE gère un large éventail de tâches, notamment la recherche (embedding, matching, reranking), la conversion de documents en markdown (PDF, fichiers Office, scans), la sortie structurée (extraction JSON valide selon un schéma), la prise de décision (choix, oui/non, réponses notées), la classification, la sécurité du contenu, l'exécution de boucles d'agents, la traduction (plus de 400 langues), la légende d'images et la détection d'objets, ainsi que la transcription audio. Les options de démarrage rapide incluent une installation native via pip pour macOS/Linux, ou des images Docker pour GPU NVIDIA (avec des images spécifiques par bundle pour différentes familles de modèles) et CPU. Le SDK est disponible pour Python (`sie-sdk`) et TypeScript (`@superlinked/sie-sdk`). Pour la production, SIE propose des modules Terraform pour Alibaba Cloud ACK, AWS EKS, Azure AKS et Google GKE, ainsi que des charts Helm pour des déploiements de cluster reproductibles. Le projet est sous licence Apache 2.0 et collecte des données de télémétrie d'usage anonymes (désactivables via des variables d'environnement).