sie

O SIE (Superlinked Inference Engine) é um servidor de inferência open-source e cluster de produção concebido para executar todos os modelos de que um agente de IA necessita a partir de um único sistema auto-hospedado. Substitui a necessidade de servidores de modelos separados por tarefa, oferecendo uma API unificada que serve mais de 100 modelos, carregando-os a pedido. As principais funcionalidades incluem: - **API compatível com OpenAI**: migração imediata com endpoints como `/v1/embeddings`, `/v1/chat/completions`, `/v1/completions` e `/v1/responses`. - **Catálogo de modelos pré-configurado**: inclui modelos como Stella, SPLADE, Qwen3, GLiNER, SigLIP e outros, com modelos de embedding e recuperação avaliados no MTEB. - **Serviço multi-modelo**: serve vários modelos em simultâneo com carregamento a pedido e despejo LRU. - **Pronto para produção**: inclui configurações de implementação Kubernetes e Helm, incluindo um gateway de balanceamento de carga, autoescalonamento KEDA e dashboards Grafana. - **Integrações**: funciona com LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate e LanceDB. O SIE lida com uma vasta gama de tarefas, incluindo pesquisa (embedding, correspondência, reranking), conversão de documentos para markdown (PDFs, ficheiros Office, digitalizações), saída estruturada (extração de JSON válido segundo esquema), tomada de decisão (escolha, sim/não, pontuação de respostas), classificação, segurança de conteúdo, execução de ciclos de agente, tradução (mais de 400 idiomas), legendagem de imagens e deteção de objetos, e transcrição de áudio. As opções de início rápido incluem instalação nativa via pip para macOS/Linux, ou imagens Docker para GPU NVIDIA (com imagens específicas por pacote para diferentes famílias de modelos) e CPU. O SDK está disponível para Python (`sie-sdk`) e TypeScript (`@superlinked/sie-sdk`). Para produção, o SIE oferece módulos Terraform para Alibaba Cloud ACK, AWS EKS, Azure AKS e Google GKE, juntamente com Helm charts para implementações de cluster reproduzíveis. O projeto tem licença Apache 2.0 e recolhe telemetria de utilização anónima (desativável através de variáveis de ambiente).