polymo

Polymo permet aux utilisateurs de définir des pipelines d'ingestion d'API via une interface utilisateur et de les exporter en tant que Lakeflow Declarative Pipelines autonomes. Il génère du code Python simple utilisant requests, la bibliothèque standard et pyspark, garantissant que polymo lui-même n'est pas une dépendance d'exécution des scripts générés. Les capacités clés incluent : - Définition de pipelines basée sur l'UI avec des aperçus locaux des DataFrames, des enregistrements bruts et des réponses API. - Génération de code spécialisé pour la pagination, la synchronisation incrémentielle, le partitionnement, le filter pushdown, la gestion des erreurs et les réponses XML. - Intégration avec Databricks Asset Bundles pour l'amorçage, le déploiement et l'exécution des pipelines via la Databricks CLI. - Prise en charge de la gestion sécurisée des identifiants utilisant les secret scopes de Databricks ou les identifiants de service Unity Catalog pour éviter le codage en dur des secrets. - Possibilité de lancement via pip, uvx ou Docker.