Об этом проекте

Polymo позволяет пользователям определять конвейеры приема данных API через пользовательский интерфейс и экспортировать их в виде автономных Lakeflow Declarative Pipelines. Он генерирует обычный код Python с использованием requests, стандартной библиотеки и pyspark, гарантируя, что сам polymo не является зависимостью среды выполнения сгенерированных скриптов. Ключевые возможности включают: - Определение конвейеров на базе UI с локальным предварительным просмотром DataFrames, необработанных записей и ответов API. - Генерация специализированного кода для пагинации, инкрементной синхронизации, партиционирования, filter pushdown, обработки ошибок и XML-ответов. - Интеграция с Databricks Asset Bundles для развертывания и запуска конвейеров через Databricks CLI. - Поддержка безопасного управления учетными данными с использованием Databricks secret scopes или сервисных учетных данных Unity Catalog во избежание жесткого кодирования секретов. - Возможность запуска через pip, uvx или Docker.