عن المشروع

يعد DataX إطار عمل مفتوح المصدر من Alibaba لمزامنة البيانات غير المتصلة، وهو أيضًا الإصدار مفتوح المصدر من تكامل البيانات في Alibaba Cloud DataWorks. يقسّم تصميمه الأساسي عملية المزامنة الواحدة إلى قسمين: إضافة Reader مسؤولة عن قراءة البيانات من مصدر البيانات، وإضافة Writer مسؤولة عن كتابة البيانات إلى الوجهة. يمرر الإطار البيانات بينهما، ويتكيف مع أنظمة التخزين والحوسبة المختلفة عبر نظام الإضافات؛ وبعد إضافة إضافة مصدر بيانات جديد، يمكن نظريًا تكوين تركيبات قراءة وكتابة مع مصادر البيانات الحالية. يغطي نطاق الدعم المدرج في README أنواعًا متعددة: تشمل قواعد البيانات العلائقية MySQL وOracle وOceanBase وSQL Server وPostgreSQL وDRDS وKingbase وRDBMS العامة؛ وتشمل NoSQL وتخزين البيانات الضخمة HBase وMongoDB وCassandra وOTS وPhoenix وغيرها؛ وتشمل مستودعات البيانات والأنظمة التحليلية Hive وMaxCompute/ODPS وHologres وClickHouse وStarRocks وApache Doris وDatabend وSelectDB وغيرها؛ كما يدعم أيضًا HDFS وOSS وFTP وTxtFile وDataHub وSLS وOpenTSDB وTSDB وTDengine وNeo4j وغيرها. يختلف دعم Reader وWriter حسب مصدر البيانات، لذلك يلزم الرجوع إلى وثائق الإضافة المقابلة عند الاستخدام. يوفر المشروع وثائق تعريفية، ودليل بدء سريع، ودليلًا مرجعيًا لمصادر البيانات، ودليلًا لتطوير الإضافات، كما يوفر حزم توزيع قابلة للتنزيل. يمكن للمطورين إضافة مصادر بيانات جديدة وفق وثائق تطوير الإضافات. تضمنت الإصدارات الأخيرة قراءة وكتابة HDFS Parquet، وتصدير جمل INSERT من TxtFile، وشروط WHERE في Phoenix، وإضافة GaussDB، وإضافة ClickHouse، بالإضافة إلى عدد من برامج التشغيل وإصلاحات المشكلات. يجب الانتباه إلى أن تكامل البيانات في Alibaba Cloud DataWorks هو إصدار تجاري يستند إلى قدرات فريق DataX، ويذكر README أنه يوفر المزيد من مصادر البيانات، والمزامنة الفورية، وترحيل قاعدة البيانات بالكامل، والترحيل الجماعي إلى السحابة، والمزامنة التزايدية، وحلول تقسيم قواعد البيانات والجداول؛ ولا ينبغي مساواة هذه القدرات المتقدمة مباشرة بإصدار DataX مفتوح المصدر. الكود مفتوح المصدر متاح بموجب Apache License ويمكن استخدامه مجانًا.