polymo

Polymo permite a los usuarios definir pipelines de ingesta de API a través de una interfaz de usuario y exportarlos como Lakeflow Declarative Pipelines independientes. Genera código Python simple utilizando requests, la biblioteca estándar y pyspark, asegurando que polymo en sí mismo no sea una dependencia de tiempo de ejecución de los scripts generados. Las capacidades clave incluyen: - Definición de pipelines basada en UI con vistas previas locales de DataFrames, registros raw y respuestas de API. - Generación de código especializado para paginación, sincronización incremental, particionamiento, filter pushdown, manejo de errores y respuestas XML. - Integración con Databricks Asset Bundles para el bootstrapping, despliegue y ejecución de pipelines a través de la Databricks CLI. - Soporte para la gestión segura de credenciales utilizando Databricks secret scopes o credenciales de servicio de Unity Catalog para evitar el hardcoding de secretos. - Capacidad de lanzamiento a través de pip, uvx o Docker.