lakefs

lakeFS는 객체 스토리지를 Git과 유사한 저장소로 변환하여 팀이 버전 관리 개념으로 데이터 레이크를 관리할 수 있게 해주는 소스 공개 도구입니다. AWS S3, Azure Blob Storage, Google Cloud Storage를 기반 스토리지로 지원하며 S3와 API 호환되므로 Spark, Hive, AWS Athena, DuckDB, Presto 같은 프레임워크와 함께 작동합니다. README에 설명된 핵심 기능: - 브랜치와 격리된 환경: 객체를 복사하지 않고 전체 프로덕션 데이터의 사본을 제공하는 브랜치를 생성할 수 있어, 변경 사항을 승격하기 전에 ETL 개발과 테스트에 유용합니다. - 재현성: Git과 유사한 인터페이스가 데이터의 현재 상태 이상을 추적하므로 특정 시점의 데이터셋 상태를 재현할 수 있어 디버깅, ML 학습 실행 검증, 감사 지원에 도움이 됩니다. - Write-Audit-Publish: 훅으로 품질 및 거버넌스 게이트를 적용하여 테스트를 통과한 데이터만 프로덕션의 일부가 되도록 할 수 있습니다. - 롤백: 데이터를 이전 버전으로 되돌려 심각한 데이터 오류에서 빠르게 복구할 수 있으며, 데이터를 중복하지 않고 버전 관리를 사용합니다. 시작 옵션에는 Python 퀵스타트(pip install lakefs; python -m lakefs.quickstart)와 Docker 명령(docker run treeverse/lakefs:latest run --quickstart)이 있으며, 이후 웹 UI를 포트 8000에서 사용할 수 있습니다. 문서, 퀵스타트 가이드, 샘플 엔드투엔드 애플리케이션이 저장소에서 링크되어 있습니다. 라이선스: lakeFS는 Business Source License 1.1(BUSL-1.1)에 따라 배포되며, 비프로덕션 목적의 무료 사용, 수정, 재배포와 내부 비즈니스 목적을 위한 수정되지 않은 소프트웨어의 무료 프로덕션 사용을 허용합니다. 각 버전은 릴리스 후 4년이 지나면 Apache 2.0이 됩니다. README는 또한 적절한 고지나 출처 표시 없이 AI 에이전트와 소스 코드를 공유하는 것은 라이선스를 위반하며, AI 제공업체의 가드레일은 저작권 침해를 방지하기에 충분하지 않다고 보는 Treeverse의 입장을 밝히고 있습니다. README에는 Netflix, Ford Motor Company, Volvo Cars, Daimler Truck, PETRONAS, AppsFlyer, Similarweb 등 lakeFS를 사용한다고 보고된 많은 조직이 나열되어 있습니다. 커뮤니티 지원은 Slack, Twitter, YouTube, 블로그를 통해 제공됩니다.