polymo

Polymoを使用すると、ユーザーはUIを通じてAPIインジェクションパイプラインを定義し、それらをスタンドアロンのLakeflow Declarative Pipelinesとしてエクスポートできます。requests、標準ライブラリ、およびpysparkを利用したプレーンなPythonコードを生成するため、生成されたスクリプトのランタイム依存関係にPolymo自体が含まれないことが保証されます。 主な機能は以下の通りです： - DataFrame、生レコード、およびAPIレスポンスのローカルプレビューが可能なUIベースのパイプライン定義。 - ページネーション、増分同期、パーティショニング、フィルタープッシュダウン、エラーハンドリング、およびXMLレスポンスのための専用コードの生成。 - Databricks Asset Bundlesとの統合により、Databricks CLI経由でのパイプラインのブートストラップ、デプロイ、および実行が可能。 - Databricks secret scopesまたはUnity Catalogサービス資格情報の使用による安全な資格情報管理をサポートし、シークレットのハードコーディングを回避。 - pip、uvx、またはDocker経由での起動が可能。