lakefs

lakeFS est un outil à code source disponible qui transforme le stockage objet en un dépôt de type Git, permettant aux équipes de gérer des lacs de données avec des concepts de contrôle de version. Il prend en charge AWS S3, Azure Blob Storage et Google Cloud Storage comme stockage sous-jacent, et est compatible avec l'API S3, ce qui le rend utilisable avec des frameworks tels que Spark, Hive, AWS Athena, DuckDB et Presto. Capacités principales décrites dans le README : - Branches et environnements isolés : créer des branches qui fournissent une copie de l'ensemble des données de production sans copier les objets, utile pour le développement et les tests ETL avant de promouvoir les changements. - Reproductibilité : une interface de type Git suit plus que l'état actuel des données, ce qui permet de reproduire l'état d'un jeu de données à un instant donné, ce qui aide au débogage, à la validation des exécutions d'entraînement ML et à la prise en charge des audits. - Write-Audit-Publish : des hooks peuvent imposer des barrières de qualité et de gouvernance afin que seules les données qui passent les tests fassent partie de la production. - Rollback : revenir les données à une version précédente pour récupérer rapidement d'erreurs critiques sur les données, en utilisant le versionnement sans dupliquer les données. Les options de démarrage incluent un quickstart Python (pip install lakefs ; python -m lakefs.quickstart) et une commande Docker (docker run treeverse/lakefs:latest run --quickstart), après quoi l'interface web est disponible sur le port 8000. La documentation, un guide de démarrage rapide et des exemples d'applications de bout en bout sont liés depuis le dépôt. Licence : lakeFS est sous Business Source License 1.1 (BUSL-1.1), autorisant l'utilisation, la modification et la redistribution gratuites à des fins non productives et l'utilisation gratuite en production du logiciel non modifié à des fins commerciales internes ; chaque version passe sous Apache 2.0 quatre ans après sa publication. Le README indique également la position de Treeverse selon laquelle le partage du code source avec des agents IA sans mentions ou attribution appropriées viole la licence, et que les garde-fous des fournisseurs d'IA ne sont pas considérés comme suffisants pour prévenir la violation du droit d'auteur. Le README liste de nombreuses organisations déclarées utiliser lakeFS, notamment Netflix, Ford Motor Company, Volvo Cars, Daimler Truck, PETRONAS, AppsFlyer, Similarweb et d'autres. Le soutien communautaire est offert via Slack, Twitter, YouTube et un blog.