datax

DataX es un framework de sincronización de datos offline de código abierto de Alibaba, y también la versión open source de la integración de datos de Alibaba Cloud DataWorks. Su diseño central divide una sincronización en dos partes: el plugin Reader se encarga de leer datos del origen, y el plugin Writer de escribirlos en el destino. El framework transfiere datos entre ambos y adapta diferentes sistemas de almacenamiento y cómputo mediante un sistema de plugins; al añadir un plugin para un nuevo origen, teóricamente se pueden formar combinaciones de lectura/escritura con los orígenes existentes. El README lista una amplia gama de soporte que cubre varios tipos: bases relacionales incluyen MySQL, Oracle, OceanBase, SQL Server, PostgreSQL, DRDS, Kingbase y RDBMS genéricos; NoSQL y almacenes de big data incluyen HBase, MongoDB, Cassandra, OTS, Phoenix, entre otros; almacenes y sistemas analíticos incluyen Hive, MaxCompute/ODPS, Hologres, ClickHouse, StarRocks, Apache Doris, Databend, SelectDB, etc.; además soporta HDFS, OSS, FTP, TxtFile, DataHub, SLS, OpenTSDB, TSDB, TDengine, Neo4j, entre otros. El soporte de Reader y Writer no es idéntico para cada origen, por lo que se debe consultar la documentación del plugin correspondiente al usar. El proyecto ofrece documentación introductoria, guía de inicio rápido, referencia de orígenes de datos y guía de desarrollo de plugins, así como paquetes de distribución descargables. Los desarrolladores pueden conectar nuevos orígenes según la documentación de desarrollo de plugins. Las versiones recientes también incluyen lectura/escritura de HDFS Parquet, exportación de sentencias insert desde TxtFile, condiciones where de Phoenix, plugin de GaussDB, plugin de ClickHouse, y varias correcciones de controladores y errores. Es importante notar que la integración de datos de Alibaba Cloud DataWorks es una versión comercial basada en las capacidades del equipo de DataX; el README indica que ofrece más orígenes, sincronización en tiempo real, migración completa de bases, carga masiva a la nube, sincronización incremental y soluciones de sharding de bases/tablas; estas capacidades avanzadas no deben equipararse directamente con la versión open source de DataX. El código abierto usa la licencia Apache License y es de uso gratuito.