lakefs

lakeFSは、オブジェクトストレージをGitライクなリポジトリに変換するソース利用可能なツールであり、チームがバージョン管理の概念を用いてデータレイクを管理できるようにします。基盤となるストレージとしてAWS S3、Azure Blob Storage、Google Cloud Storageをサポートし、S3とAPI互換性があるため、Spark、Hive、AWS Athena、DuckDB、Prestoなどのフレームワークと連携できます。 READMEに記載されている主な機能は以下の通りです。 - ブランチと分離環境: オブジェクトをコピーせずに本番データ全体のコピーを提供するブランチを作成でき、変更を本番に昇格させる前のETL開発やテストに役立ちます。 - 再現性: Gitライクなインターフェースがデータの現在の状態だけでなく、特定時点のデータセットの状態を再現できるようにし、デバッグ、MLトレーニング実行の検証、監査のサポートに役立ちます。 - Write-Audit-Publish: フックが品質とガバナンスのゲートを強制し、テストに合格したデータのみが本番の一部となるようにします。 - ロールバック: データを以前のバージョンに戻し、重大なデータエラーから迅速に回復できます。データを複製せずにバージョン管理を使用します。 開始方法には、Pythonクイックスタート（pip install lakefs; python -m lakefs.quickstart）とDockerコマンド（docker run treeverse/lakefs:latest run --quickstart）があり、その後、ポート8000でWeb UIが利用可能になります。ドキュメント、クイックスタートガイド、サンプルのエンドツーエンドアプリケーションはリポジトリからリンクされています。 ライセンス: lakeFSはBusiness Source License 1.1（BUSL-1.1）の下にあり、非本番目的での自由な使用、変更、再配布、および内部業務目的での未変更ソフトウェアの無料本番使用を許可します。各バージョンはリリースから4年後にApache 2.0になります。READMEはまた、適切な通知や帰属なしにAIエージェントとソースコードを共有することはライセンス違反であり、AIプロバイダーのガードレールは著作権侵害を防ぐのに十分とは見なされないというTreeverseの見解を述べています。 READMEには、Netflix、Ford Motor Company、Volvo Cars、Daimler Truck、PETRONAS、AppsFlyer、Similarwebなどを含む、lakeFSを使用していると報告されている多くの組織がリストされています。コミュニティサポートは、Slack、Twitter、YouTube、ブログを通じて提供されています。