datax

DataX est un framework de synchronisation de données hors ligne open source d'Alibaba, également la version open source de l'intégration de données DataWorks d'Alibaba Cloud. Sa conception centrale divise une synchronisation en deux parties : le plugin Reader lit les données de la source, le plugin Writer les écrit vers la destination. Le framework transmet les données entre les deux et s'adapte à différents systèmes de stockage et de calcul via un système de plugins ; l'ajout d'un nouveau plugin de source de données permet théoriquement de former des combinaisons de lecture/écriture avec les sources existantes. Le README liste une large couverture : bases relationnelles incluant MySQL, Oracle, OceanBase, SQL Server, PostgreSQL, DRDS, Kingbase et RDBMS générique ; NoSQL et big data incluant HBase, MongoDB, Cassandra, OTS, Phoenix ; entrepôts et systèmes d'analyse incluant Hive, MaxCompute/ODPS, Hologres, ClickHouse, StarRocks, Apache Doris, Databend, SelectDB ; en plus de HDFS, OSS, FTP, TxtFile, DataHub, SLS, OpenTSDB, TSDB, TDengine, Neo4j. La prise en charge des Reader et Writer varie selon les sources, nécessitant la consultation de la documentation des plugins correspondants. Le projet fournit une documentation d'introduction, un guide de démarrage rapide, un guide de référence des sources de données et un guide de développement de plugins, ainsi qu'un package de distribution téléchargeable. Les développeurs peuvent intégrer de nouvelles sources de données en suivant la documentation de développement des plugins. Les versions récentes incluent la lecture/écriture HDFS Parquet, l'exportation d'instructions insert depuis TxtFile, les conditions where Phoenix, les plugins GaussDB et ClickHouse, ainsi que diverses corrections de pilotes et de bugs. Il est à noter que l'intégration de données DataWorks d'Alibaba Cloud est une version commerciale basée sur les capacités de l'équipe DataX, offrant selon le README davantage de sources de données, synchronisation en temps réel, migration de bases entières, chargement batch vers le cloud, synchronisation incrémentielle et solutions de sharding de bases de données ; ces capacités avancées ne doivent pas être directement assimilées à la version open source DataX. Le code open source est sous licence Apache, utilisable gratuitement.