pathway

Pathway는 스트리밍과 배치 데이터 처리를 단일 API로 처리하는 Python 라이브 데이터 프레임워크입니다. Differential Dataflow 기반의 Rust 엔진으로 구축되어 데이터가 유입되는 대로 파이프라인을 실시간으로 업데이트할 수 있습니다. Kafka, PostgreSQL, Google Drive, SharePoint, Airbyte(300개 이상 소스)용 커넥터를 제공하며 Python을 통한 커스텀 커넥터 지원도 가능합니다. AI 파이프라인을 위해 Pathway는 주요 LLM 서비스 래퍼, 임베더, 분할기, 파서, 인메모리 실시간 벡터 인덱스를 포함한 LLM xpack을 제공합니다. LangChain 및 LlamaIndex와 통합되어 RAG 애플리케이션을 지원합니다. 상태 유지 변환으로는 조인, 윈도우링, 정렬이 포함되며 모든 Python 함수나 라이브러리 사용이 가능합니다. 파기나 업데이트 후 파이프라인 재시작도 지원합니다. 무료 버전에서는 최소 한번 전달(at-least-once) 일관성을, 엔터프라이즈 티어에서는 정확히 한번(exactly-once) 일관성을 보장합니다. 로컬 실행(pw.run()), Docker, Kubernetes 등 다양한 배포 옵션을 제공합니다. 모니터링 대시보드를 통해 커넥터별 메시지 처리량과 지연 시간을 확인할 수 있습니다. 엔진은 멀티스레딩, 멀티프로세싱, 분산 계산을 기본적으로 지원합니다.