इस प्रोजेक्ट के बारे में

Apache Fluss एक ओपन-सोर्स स्ट्रीमिंग स्टोरेज सिस्टम है जिसे रीयल-टाइम एनालिटिक्स और AI वर्कलोड के लिए डिज़ाइन किया गया है। यह Lakehouse आर्किटेक्चर के लिए एक रीयल-टाइम डेटा लेयर के रूप में कार्य करता है, डेटा स्ट्रीमिंग और डेटा Lakehouse के बीच की खाई को पाटता है। Fluss कम-विलंबता, उच्च-थ्रूपुट डेटा इन्जेशन और प्रोसेसिंग को सक्षम बनाता है जबकि Apache Flink और Apache Spark जैसे लोकप्रिय कंप्यूट इंजनों के साथ एकीकृत होता है, StarRocks समर्थन की योजना है। मुख्य विशेषताओं में शामिल हैं: - **सब-सेकंड डेटा ताज़गी**: कम-विलंबता एनालिटिक्स और रीयल-टाइम निर्णय लेने के लिए निरंतर इन्जेशन और तत्काल डेटा उपलब्धता। - **स्ट्रीमिंग और Lakehouse एकीकरण**: इंजनों में रीयल-टाइम और ऐतिहासिक डेटा को एकीकृत करने के लिए टेबलों को एकल अमूर्तता के रूप में उपयोग करता है, lakehouse के शीर्ष पर कम-विलंबता पहुंच के साथ स्ट्रीमिंग-नेटिव स्टोरेज सक्षम करता है। - **कॉलमर स्ट्रीमिंग**: Apache Arrow पर आधारित, यह डेटा स्ट्रीम पर डेटाबेस प्रिमिटिव, कॉलम प्रूनिंग और प्रेडिकेट पुशडाउन का समर्थन करता है ताकि I/O और नेटवर्क लागत कम हो सके। - **कंप्यूट-स्टोरेज पृथक्करण**: स्ट्रीम प्रोसेसर गणना पर ध्यान केंद्रित करते हैं जबकि Fluss स्थिति और स्टोरेज का प्रबंधन करता है, डिडुप्लीकेशन, आंशिक अपडेट, डेल्टा जॉइन और एग्रीगेशन मर्ज इंजन जैसी सुविधाएँ प्रदान करता है। - **ML और AI-तैयार स्टोरेज**: रीयल-टाइम फीचर स्टोर और केंद्रीकृत ML/AI डेटा रिपॉजिटरी के लिए रो-आधारित, कॉलमर, वेक्टर और मल्टी-मोडल डेटा का समर्थन करने वाली एकीकृत स्टोरेज लेयर। - **चेंजलॉग और निर्णय ट्रैकिंग**: बिल्ट-इन चेंजलॉग जनरेशन ऑडिटिंग, पुनरुत्पादन क्षमता और ऑब्जर्वेबिलिटी के लिए स्थिति और निर्णय विकास का केवल-एपेंड इतिहास प्रदान करता है। ## बिल्डिंग पूर्वापेक्षाएँ: यूनिक्स-जैसा वातावरण, Git, Maven (>= 3.8.6), और Java 11। ```bash git clone https://github.com/apache/fluss.git cd fluss ./mvnw clean package -DskipTests ``` बिल्ड सही Maven संस्करण सुनिश्चित करने के लिए Maven Wrapper का उपयोग करता है। प्रोजेक्ट `build-target` में इंस्टॉल होता है। ## योगदान Apache Fluss ओपन-सोर्स है और योगदान का स्वागत करता है। आप चर्चाओं में शामिल हो सकते हैं, बग या फीचर अनुरोधों के लिए मुद्दे खोल सकते हैं, और कोड या दस्तावेज़ीकरण में योगदान कर सकते हैं। ## लाइसेंस Apache Fluss Apache License 2.0 के तहत लाइसेंस प्राप्त है।