프로젝트 소개

Polymo를 사용하면 사용자가 UI를 통해 API 수집 파이프라인을 정의하고 이를 독립형 Lakeflow Declarative Pipelines로 내보낼 수 있습니다. 이 도구는 requests, 표준 라이브러리 및 pyspark를 활용한 순수 Python 코드를 생성하므로, 생성된 스크립트의 런타임 종속성에 polymo 자체가 포함되지 않도록 보장합니다. 주요 기능은 다음과 같습니다: - DataFrame, 원시 레코드 및 API 응답의 로컬 미리보기가 가능한 UI 기반 파이프라인 정의. - 페이지네이션, 증분 동기화, 파티셔닝, 필터 푸시다운, 오류 처리 및 XML 응답을 위한 특화된 코드 생성. - Databricks Asset Bundles와의 통합을 통해 Databricks CLI로 파이프라인 부트스트래핑, 배포 및 실행 가능. - 비밀번호 하드코딩을 방지하기 위해 Databricks secret scopes 또는 Unity Catalog 서비스 자격 증명을 사용하는 보안 자격 증명 관리 지원. - pip, uvx 또는 Docker를 통해 실행 가능.