polymo

Polymo 允许用户通过 UI 定义 API 摄取流水线，并将其导出为独立的 Lakeflow Declarative Pipelines。它生成利用 requests、标准库和 pyspark 的纯 Python 代码，确保 polymo 本身不是生成脚本的运行时依赖项。 关键能力包括： - 基于 UI 的流水线定义，支持 DataFrame、原始记录和 API 响应的本地预览。 - 为分页、增量同步、分区、过滤器下推、错误处理和 XML 响应生成专门的代码。 - 与 Databricks Asset Bundles 集成，以便通过 Databricks CLI 进行引导、部署和运行流水线。 - 支持使用 Databricks secret scopes 或 Unity Catalog 服务凭据进行安全的凭据管理，以避免硬编码密钥。 - 支持通过 pip、uvx 或 Docker 启动。