datax

DataX 是阿里巴巴开源的离线数据同步框架，也是阿里云 DataWorks 数据集成的开源版本。其核心设计将一次同步拆分为两部分：Reader 插件负责从源头数据源读取数据，Writer 插件负责向目标端写入数据。框架在两者之间传递数据，并通过插件体系适配不同存储和计算系统；新增一个数据源插件后，理论上即可与现有数据源形成读写组合。 README 列出的支持范围覆盖多种类型：关系型数据库包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、DRDS、Kingbase 及通用 RDBMS；NoSQL 与大数据存储包括 HBase、MongoDB、Cassandra、OTS、Phoenix 等；数仓和分析系统包括 Hive、MaxCompute/ODPS、Hologres、ClickHouse、StarRocks、Apache Doris、Databend、SelectDB 等；此外还支持 HDFS、OSS、FTP、TxtFile、DataHub、SLS、OpenTSDB、TSDB、TDengine、Neo4j 等。不同数据源的 Reader 和 Writer 支持情况并不完全相同，使用时需查阅对应插件文档。 项目提供介绍文档、快速入门、数据源参考指南和插件开发指南，也提供可下载的发行包。开发者可依据插件开发文档接入新的数据源。近期版本还涉及 HDFS Parquet 读写、TxtFile 导出 insert 语句、Phoenix where 条件、GaussDB 插件、ClickHouse 插件以及若干驱动和问题修复。 需要注意的是，阿里云 DataWorks 数据集成是基于 DataX 团队能力的商业版本，README 称其提供更多数据源、实时同步、整库迁移、批量上云、增量同步和分库分表等方案；这些高级能力不应直接等同于开源版 DataX。开源代码采用 Apache License，可免费使用。