Об этом проекте

lakeFS — это инструмент с открытым исходным кодом, который превращает объектное хранилище в Git-подобный репозиторий, позволяя командам управлять озерами данных с помощью концепций контроля версий. Он поддерживает AWS S3, Azure Blob Storage и Google Cloud Storage в качестве базового хранилища и совместим по API с S3, поэтому работает с такими фреймворками, как Spark, Hive, AWS Athena, DuckDB и Presto. Основные возможности, описанные в README: - Ветвление и изолированные среды: создание веток, которые дают копию полных производственных данных без копирования объектов, что полезно для разработки и тестирования ETL перед продвижением изменений. - Воспроизводимость: Git-подобный интерфейс отслеживает не только текущее состояние данных, что позволяет воспроизвести состояние набора данных на определенный момент времени, помогая отладке, проверке запусков обучения ML и поддержке аудита. - Write-Audit-Publish: хуки могут обеспечивать контроль качества и управления, так что только данные, прошедшие тесты, становятся частью production. - Откат: возврат данных к предыдущей версии для быстрого восстановления после критических ошибок в данных, используя версионирование без дублирования данных. Варианты начала работы включают быстрый старт на Python (pip install lakefs; python -m lakefs.quickstart) и команду Docker (docker run treeverse/lakefs:latest run --quickstart), после чего веб-интерфейс доступен на порту 8000. Документация, руководство по быстрому старту и примеры сквозных приложений доступны по ссылкам из репозитория. Лицензирование: lakeFS распространяется под Business Source License 1.1 (BUSL-1.1), разрешающей бесплатное использование, модификацию и распространение для непроизводственных целей и бесплатное производственное использование немодифицированного программного обеспечения для внутренних бизнес-целей; каждая версия становится Apache 2.0 через четыре года после выпуска. В README также изложена позиция Treeverse о том, что передача исходного кода ИИ-агентам без соответствующих уведомлений или указания авторства нарушает лицензию, и что ограничения поставщиков ИИ не считаются достаточными для предотвращения нарушения авторских прав. В README перечислены многие организации, которые, как сообщается, используют lakeFS, включая Netflix, Ford Motor Company, Volvo Cars, Daimler Truck, PETRONAS, AppsFlyer, Similarweb и другие. Поддержка сообщества осуществляется через Slack, Twitter, YouTube и блог.