इस प्रोजेक्ट के बारे में

lakeFS एक सोर्स-उपलब्ध टूल है जो ऑब्जेक्ट स्टोरेज को Git जैसी रिपॉज़िटरी में बदलता है, जिससे टीमें डेटा लेक को वर्ज़न कंट्रोल अवधारणाओं के साथ प्रबंधित कर सकती हैं। यह अंतर्निहित स्टोरेज के रूप में AWS S3, Azure Blob Storage और Google Cloud Storage का समर्थन करता है, और S3 के साथ API संगत है, इसलिए यह Spark, Hive, AWS Athena, DuckDB और Presto जैसे फ्रेमवर्क के साथ काम करता है। README में वर्णित मुख्य क्षमताएँ: - ब्रांचिंग और पृथक वातावरण: ऐसी ब्रांच बनाएँ जो ऑब्जेक्ट कॉपी किए बिना पूर्ण प्रोडक्शन डेटा की प्रतिलिपि देती हैं, जो परिवर्तनों को प्रोडक्शन में ले जाने से पहले ETL विकास और परीक्षण के लिए उपयोगी है। - पुनरुत्पादनशीलता: Git जैसा इंटरफ़ेस डेटा की वर्तमान स्थिति से अधिक को ट्रैक करता है, जिससे किसी समय-बिंदु पर डेटासेट की स्थिति को पुनरुत्पादित करना संभव होता है, जो डिबगिंग, ML प्रशिक्षण रनों को मान्य करने और ऑडिट का समर्थन करने में मदद करता है। - Write-Audit-Publish: हुक गुणवत्ता और शासन गेट लागू कर सकते हैं ताकि केवल परीक्षण पास करने वाला डेटा ही प्रोडक्शन का हिस्सा बने। - रोलबैक: डेटा को पिछले वर्ज़न पर वापस लाएँ ताकि गंभीर डेटा त्रुटियों से तेज़ी से उबरा जा सके, बिना डेटा की नकल किए वर्ज़निंग का उपयोग करते हुए। शुरू करने के विकल्पों में एक Python क्विकस्टार्ट (pip install lakefs; python -m lakefs.quickstart) और एक Docker कमांड (docker run treeverse/lakefs:latest run --quickstart) शामिल हैं, जिसके बाद वेब UI पोर्ट 8000 पर उपलब्ध होता है। दस्तावेज़ीकरण, एक क्विकस्टार्ट गाइड और नमूना एंड-टू-एंड एप्लिकेशन रिपॉज़िटरी से लिंक किए गए हैं। लाइसेंसिंग: lakeFS Business Source License 1.1 (BUSL-1.1) के अंतर्गत है, जो गैर-प्रोडक्शन उद्देश्यों के लिए मुफ्त उपयोग, संशोधन और पुनर्वितरण की अनुमति देता है और आंतरिक व्यावसायिक उद्देश्यों के लिए असंशोधित सॉफ़्टवेयर के मुफ्त प्रोडक्शन उपयोग की अनुमति देता है; प्रत्येक वर्ज़न रिलीज़ के चार साल बाद Apache 2.0 बन जाता है। README में Treeverse की स्थिति भी बताई गई है कि उचित सूचनाओं या श्रेय के बिना AI एजेंटों के साथ स्रोत कोड साझा करना लाइसेंस का उल्लंघन करता है, और AI प्रदाता गार्डरेल्स को कॉपीराइट उल्लंघन रोकने के लिए पर्याप्त नहीं माना जाता है। README में कई संगठनों की सूची दी गई है जो कथित तौर पर lakeFS का उपयोग करते हैं, जिनमें Netflix, Ford Motor Company, Volvo Cars, Daimler Truck, PETRONAS, AppsFlyer, Similarweb और अन्य शामिल हैं। समुदाय समर्थन Slack, Twitter, YouTube और एक ब्लॉग के माध्यम से प्रदान किया जाता है।