lakefs

lakeFS 是一个源代码可用的工具，可将对象存储转变为类似 Git 的仓库，使团队能够使用版本控制概念管理数据湖。它支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为底层存储，并且与 S3 API 兼容，因此可与 Spark、Hive、AWS Athena、DuckDB 和 Presto 等框架配合使用。 README 中描述的核心功能： - 分支和隔离环境：创建分支可提供完整生产数据的副本，而无需复制对象，适用于在提升更改之前进行 ETL 开发和测试。 - 可复现性：类似 Git 的界面不仅跟踪数据的当前状态，还能重现数据集在特定时间点的状态，有助于调试、验证 ML 训练运行和支持审计。 - 写入-审计-发布：钩子可强制执行质量和治理门禁，确保只有通过测试的数据才能成为生产环境的一部分。 - 回滚：将数据恢复到先前版本，以快速从关键数据错误中恢复，利用版本控制而无需复制数据。 入门选项包括 Python 快速入门（pip install lakefs; python -m lakefs.quickstart）和 Docker 命令（docker run treeverse/lakefs:latest run --quickstart），之后可在端口 8000 上访问 Web UI。文档、快速入门指南和示例端到端应用程序均从仓库链接。 许可：lakeFS 采用 Business Source License 1.1（BUSL-1.1），允许非生产用途的免费使用、修改和再分发，以及内部业务用途的未修改软件免费生产使用；每个版本在发布四年后变为 Apache 2.0。README 还声明 Treeverse 的立场，即未经适当通知或署名与 AI 代理共享源代码违反许可，且 AI 提供商的护栏不足以防止版权侵权。 README 列出了许多据报道使用 lakeFS 的组织，包括 Netflix、Ford Motor Company、Volvo Cars、Daimler Truck、PETRONAS、AppsFlyer、Similarweb 等。社区支持通过 Slack、Twitter、YouTube 和博客提供。