오픈 소스. 새로운 가능성.

Flow는 단일 바이너리, 고성능 ETL 엔진 및 워크플로우 오케스트레이터로, Go로 작성되었습니다. 임베디드 시각적 웹 빌더, 선언적 XML 파이프라인, 크로스 데이터베이스 지원, 내장 감사 텔레메트리를 특징으로 합니다.

Redpanda와 PySpark Structured Streaming을 활용한 로컬 실시간 분석 파이프라인. Docker Compose로 클릭스트림 이벤트 시뮬레이션, 워터마킹 기반 시간 윈도우 집계 등을 구현한 교육용 프로젝트입니다.

Kestra는 선언적 YAML 인터페이스를 활용하여 데이터, AI 및 인프라 워크플로우를 위해 설계된 오픈 소스 이벤트 기반 오케스트레이션 플랫폼입니다.

SolarisPKN-Stats는 여러 플랫폼의 프로젝트 통계를 수집, 저장 및 업데이트하여 구조화된 JSON 파일로 제공하는 자동화 시스템입니다.

Apache Airflow는 워크플로우를 코드로 작성, 예약 및 모니터링하는 플랫폼으로, 주로 데이터 파이프라인과 AI/ML 오케스트레이션에 사용됩니다.

delta-explain은 Delta Lake의 파일 프루닝 과정을 시각화하는 도구로, 트랜잭션 로그를 분석해 주어진 조건에 따른 파티션 프루닝과 통계 기반 파일 스킵 결과를 보여줍니다. CLI, Python API, CI 게이트, JSON 리포팅 기능을 지원합니다.