프로젝트 소개
Flow는 현대적이고 가벼운 ETL 실행 엔진 및 워크플로우 오케스트레이터로, 외부 런타임 종속성이 없는 단일 Go 바이너리로 설계되었습니다. SSIS와 같은 레거시 도구 및 Apache Airflow와 같은 복잡한 코드 기반 오케스트레이터의 대안으로 사용됩니다. Flow는 선언적 XML 파이프라인과 임베디드 시각적 HTMX 웹 빌더를 결합하여, 사용자가 무거운 인프라 없이 데이터 처리 워크플로우를 설계, 검증, 실행할 수 있도록 합니다.
주요 기능으로는 PostgreSQL, SQL Server, Oracle, MySQL, SQLite, Key-Value 스토어 등 여러 이기종 데이터베이스 엔진에 대한 기본 지원이 포함되며, SQL 플레이스홀더에 대한 자동 다이얼렉트 추상화를 제공합니다. 엔진은 병렬 실행, 조건부 로직, 반복 루프, 사전 검사 등 고급 오케스트레이션 프리미티브를 지원합니다. 또한 동일한 파이프라인 내에서 해석된 Go 스크립트와 SQL 쿼리를 통합합니다.
Flow는 자동 감사 텔레메트리를 통해 관찰 가능성을 제공하며, 실행 상태, 지속 시간, 행 수를 `pipeline_runs` 및 `pipeline_events` 테이블에 기록합니다. 또한 Mermaid.js 시각적 플로우차트를 생성하고 XSLT 3.0 변환 기능을 제공하여 사용자 정의 보고를 지원함으로써, 파이프라인의 자체 문서화를 가능하게 합니다. 구성은 Git 친화적이며, 환경별 XML 파일 및 런타임 CLI 변수를 통한 계층적 오버라이드를 지원합니다.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.