polymo

O Polymo permite que os usuários definam pipelines de ingestão de API por meio de uma UI e os exportem como Lakeflow Declarative Pipelines independentes. Ele gera código Python simples utilizando requests, a biblioteca padrão e pyspark, garantindo que o próprio polymo não seja uma dependência de runtime dos scripts gerados. As principais capacidades incluem: - Definição de pipeline baseada em UI com prévias locais de DataFrames, registros brutos e respostas de API. - Geração de código especializado para paginação, sincronização incremental, particionamento, filter pushdown, tratamento de erros e respostas XML. - Integração com Databricks Asset Bundles para bootstrapping, implantação e execução de pipelines via Databricks CLI. - Suporte para gerenciamento seguro de credenciais usando Databricks secret scopes ou credenciais de serviço do Unity Catalog para evitar a codificação rígida de segredos. - Capacidade de inicialização via pip, uvx ou Docker.