প্রকল্প সম্পর্কে

DataX হল অ্যালিবাবা গ্রুপের ওপেন-সোর্স অফলাইন ডেটা সিঙ্ক্রোনাইজেশন ফ্রেমওয়ার্ক, এবং এটি অ্যালিবাবা ক্লাউড DataWorks ডেটা ইন্টিগ্রেশনের ওপেন-সোর্স সংস্করণ। এর মূল ডিজাইন একটি সিঙ্ক্রোনাইজেশনকে দুটি অংশে বিভক্ত করে: Reader প্লাগইন উৎস ডেটা সোর্স থেকে ডেটা পড়ে, এবং Writer প্লাগইন লক্ষ্য প্রান্তে ডেটা লেখে। ফ্রেমওয়ার্কটি এই দুটির মধ্যে ডেটা স্থানান্তর করে এবং বিভিন্ন স্টোরেজ ও কম্পিউট সিস্টেমের সাথে মানিয়ে নিতে প্লাগইন সিস্টেম ব্যবহার করে; একটি নতুন ডেটা সোর্স প্লাগইন যোগ করলে, তাত্ত্বিকভাবে এটি বিদ্যমান ডেটা সোর্সগুলির সাথে পড়া-লেখার সংমিশ্রণ তৈরি করতে পারে। README-তে তালিকাভুক্ত সমর্থিত পরিসর বিভিন্ন ধরনের কভার করে: রিলেশনাল ডেটাবেসের মধ্যে রয়েছে MySQL, Oracle, OceanBase, SQL Server, PostgreSQL, DRDS, Kingbase এবং সাধারণ RDBMS; NoSQL এবং বড় ডেটা স্টোরেজের মধ্যে রয়েছে HBase, MongoDB, Cassandra, OTS, Phoenix ইত্যাদি; ডেটা ওয়্যারহাউস এবং বিশ্লেষণ সিস্টেমের মধ্যে রয়েছে Hive, MaxCompute/ODPS, Hologres, ClickHouse, StarRocks, Apache Doris, Databend, SelectDB ইত্যাদি; এছাড়াও HDFS, OSS, FTP, TxtFile, DataHub, SLS, OpenTSDB, TSDB, TDengine, Neo4j ইত্যাদি সমর্থিত। বিভিন্ন ডেটা সোর্সের Reader এবং Writer সমর্থন সম্পূর্ণ এক নয়, ব্যবহারের সময় সংশ্লিষ্ট প্লাগইন ডকুমেন্টেশন দেখতে হবে। প্রকল্পটি পরিচিতি ডকুমেন্ট, দ্রুত শুরু, ডেটা সোর্স রেফারেন্স গাইড এবং প্লাগইন ডেভেলপমেন্ট গাইড প্রদান করে, পাশাপাশি ডাউনলোডযোগ্য রিলিজ প্যাকেজও রয়েছে। ডেভেলপাররা প্লাগইন ডেভেলপমেন্ট ডকুমেন্ট অনুযায়ী নতুন ডেটা সোর্স সংযুক্ত করতে পারেন। সাম্প্রতিক সংস্করণে HDFS Parquet পড়া-লেখা, TxtFile-এ insert স্টেটমেন্ট এক্সপোর্ট, Phoenix where শর্ত, GaussDB প্লাগইন, ClickHouse প্লাগইন এবং কিছু ড্রাইভার ও সমস্যা সমাধান জড়িত। লক্ষ্য করা গুরুত্বপূর্ণ যে, অ্যালিবাবা ক্লাউড DataWorks ডেটা ইন্টিগ্রেশন DataX টিমের ক্ষমতার উপর ভিত্তি করে একটি বাণিজ্যিক সংস্করণ, README-তে বলা হয়েছে এটি আরও ডেটা সোর্স, রিয়েল-টাইম সিঙ্ক, সম্পূর্ণ ডেটাবেস মাইগ্রেশন, ব্যাচ ক্লাউড আপলোড, ইনক্রিমেন্টাল সিঙ্ক এবং শার্ডিং টেবিলের মতো সমাধান প্রদান করে; এই উন্নত ক্ষমতাগুলি সরাসরি ওপেন-সোর্স DataX-এর সমতুল্য নয়। ওপেন-সোর্স কোডটি Apache License-এর অধীনে, বিনামূল্যে ব্যবহারযোগ্য।