오픈 소스. 새로운 가능성.

AWS 기반의 완전한 서버리스 이벤트 중심 클릭스트림 데이터 파이프라인입니다. API Gateway, Kinesis, Firehose, Lambda, Athena를 활용해 Clickstream 이벤트를 수집·변환·저장하며, AWS SAM으로 IaC를 제공합니다.

Flow는 단일 바이너리, 고성능 ETL 엔진 및 워크플로우 오케스트레이터로, Go로 작성되었습니다. 임베디드 시각적 웹 빌더, 선언적 XML 파이프라인, 크로스 데이터베이스 지원, 내장 감사 텔레메트리를 특징으로 합니다.

Kestra는 선언적 YAML 인터페이스를 활용하여 데이터, AI 및 인프라 워크플로우를 위해 설계된 오픈 소스 이벤트 기반 오케스트레이션 플랫폼입니다.

CocoIndex는 코베이스, 회의록, Slack, PDF, 영상 등 다양한 데이터원을 LLM 애플리케이션용 실시간 컨텍스트로 변환하는 오픈소스 점증적 인덱싱 프레임워크입니다.

Vector는 Rust로 작성된 오픈소스 관찰 가능 데이터 파이프라인으로, 에이전트 또는 수집기 모드로 로그와 메트릭스를 수집·변환·라우팅하여 텔레메트리 흐름을 제어하고 벤더 비용을 줄일 수 있게 한다.

Dotflow는 @action 데코레이터로 작업을 정의하고 체이닝할 수 있는 경량 Python 파이프라인 라이브러리입니다. 재시도, 병렬 실행, 관찰 가능성, 34개 이상 클라우드 플랫폼 원클릭 배포를 지원합니다.

Dagster는 데이터 자산의 전체 라이프사이클에 걸친 개발, 운영 및 관찰을 위해 설계된 클라우드 네이티브 데이터 파이프라인 오케스트레이터입니다.

Apache Airflow는 워크플로우를 코드로 작성, 예약 및 모니터링하는 플랫폼으로, 주로 데이터 파이프라인과 AI/ML 오케스트레이션에 사용됩니다.

Pathway는 스트림 처리, 실시간 분석 및 LLM과 RAG 애플리케이션을 위한 Python ETL 프레임워크입니다. Rust 엔진 위에서 증분 계산을 수행하며 배치와 스트리밍 데이터를 동일한 코드로 처리하고 Docker 및 Kubernetes로 배포할 수 있습니다.