synapseml

SynapseML (anteriormente MMLSpark) é uma biblioteca de código aberto que simplifica a criação de pipelines de aprendizado de máquina massivamente escaláveis. É construída sobre o Apache Spark e compartilha a mesma superfície de API que o SparkML/MLLib, de modo que seus modelos podem ser incorporados em fluxos de trabalho Spark existentes. As capacidades descritas no README incluem análise de texto, visão computacional, detecção de anomalias, aprendizado profundo e ferramentas de IA responsável. Os modelos podem ser treinados e avaliados em clusters de nó único, múltiplos nós e elasticamente redimensionáveis. A biblioteca é utilizável em Python, R, Scala, Java e .NET, e sua API abstrai diversos bancos de dados, sistemas de arquivos e armazenamentos de dados em nuvem. Componentes notáveis destacados: Vowpal Wabbit no Spark para análise de texto esparso; Cognitive Services for Big Data; LightGBM no Spark para máquinas de reforço de gradiente; Spark Serving para expor computações Spark como serviços web; HTTP no Spark para orquestração distribuída de microsserviços; ONNX no Spark para inferência acelerada por hardware; Responsible AI para interpretar modelos opacos e medir viés em conjuntos de dados; geração automática de bindings Spark para PySpark e SparklyR; Isolation Forest para detecção distribuída de outliers; CyberML para segurança; e Conditional KNN. A instalação é dividida entre um wrapper de linguagem e artefatos JVM carregados pelo Spark. Instalar apenas o pacote PyPI não adiciona artefatos JVM. O README fornece uma matriz de compatibilidade: master tem como alvo Spark 3.5.x com Scala 2.12 e Python 3.11 (versão v1.1.3); spark4.0 tem como alvo Spark 4.0.1+ com Scala 2.13 e Python 3.12; spark4.1 tem como alvo Spark 4.1.x com Scala 2.13 e Python 3.13. Coordenadas Maven e uma URL de repositório personalizada são fornecidas, juntamente com instruções de configuração para Microsoft Fabric, Synapse Analytics, Databricks, Python standalone, spark-submit, SBT, Apache Livy/HDInsight, Docker e R. Uma imagem Docker pré-construída e notebooks de exemplo são oferecidos para avaliação, e o projeto vincula artigos acadêmicos e demonstrações da comunidade.