इस प्रोजेक्ट के बारे में

DataX, Alibaba द्वारा ओपन-सोर्स किया गया एक ऑफलाइन डेटा सिंक्रोनाइज़ेशन फ्रेमवर्क है, और यह Alibaba Cloud DataWorks डेटा एकीकरण का ओपन-सोर्स संस्करण भी है। इसका मुख्य डिज़ाइन एक सिंक्रोनाइज़ेशन को दो भागों में विभाजित करता है: Reader प्लगइन स्रोत डेटा स्रोत से डेटा पढ़ने के लिए जिम्मेदार है, और Writer प्लगइन लक्ष्य पर डेटा लिखने के लिए जिम्मेदार है। फ्रेमवर्क दोनों के बीच डेटा स्थानांतरित करता है, और विभिन्न स्टोरेज और कंप्यूट सिस्टम को अनुकूलित करने के लिए प्लगइन सिस्टम का उपयोग करता है; एक नया डेटा स्रोत प्लगइन जोड़ने के बाद, सैद्धांतिक रूप से मौजूदा डेटा स्रोतों के साथ पढ़ने-लिखने का संयोजन बनाया जा सकता है। README में सूचीबद्ध समर्थन सीमा कई प्रकारों को कवर करती है: रिलेशनल डेटाबेस में MySQL, Oracle, OceanBase, SQL Server, PostgreSQL, DRDS, Kingbase और सामान्य RDBMS शामिल हैं; NoSQL और बड़े डेटा स्टोरेज में HBase, MongoDB, Cassandra, OTS, Phoenix आदि शामिल हैं; डेटा वेयरहाउस और विश्लेषण सिस्टम में Hive, MaxCompute/ODPS, Hologres, ClickHouse, StarRocks, Apache Doris, Databend, SelectDB आदि शामिल हैं; इसके अलावा HDFS, OSS, FTP, TxtFile, DataHub, SLS, OpenTSDB, TSDB, TDengine, Neo4j आदि का भी समर्थन करता है। विभिन्न डेटा स्रोतों के लिए Reader और Writer का समर्थन पूरी तरह से समान नहीं है, उपयोग करते समय संबंधित प्लगइन दस्तावेज़ देखना आवश्यक है। परियोजना परिचय दस्तावेज़, त्वरित प्रारंभ मार्गदर्शिका, डेटा स्रोत संदर्भ गाइड और प्लगइन विकास गाइड प्रदान करती है, साथ ही डाउनलोड करने योग्य रिलीज़ पैकेज भी प्रदान करती है। डेवलपर्स प्लगइन विकास दस्तावेज़ के अनुसार नए डेटा स्रोतों को जोड़ सकते हैं। हाल के संस्करणों में HDFS Parquet पढ़ना-लिखना, TxtFile से insert स्टेटमेंट निर्यात, Phoenix where शर्त, GaussDB प्लगइन, ClickHouse प्लगइन और कई ड्राइवर और बग फिक्स शामिल हैं। ध्यान देने योग्य बात यह है कि Alibaba Cloud DataWorks डेटा एकीकरण, DataX टीम की क्षमताओं पर आधारित एक व्यावसायिक संस्करण है, README के अनुसार यह अधिक डेटा स्रोत, रीयल-टाइम सिंक्रोनाइज़ेशन, पूरे डेटाबेस माइग्रेशन, बैच क्लाउड अपलोड, इंक्रीमेंटल सिंक्रोनाइज़ेशन और शार्डिंग-टेबल समाधान प्रदान करता है; इन उन्नत क्षमताओं को सीधे ओपन-सोर्स DataX के बराबर नहीं माना जाना चाहिए। ओपन-सोर्स कोड Apache License के तहत है, और मुफ्त में उपयोग किया जा सकता है।