Об этом проекте

DataX — это открытый фреймворк офлайн-синхронизации данных от Alibaba, а также открытая версия интеграции данных Alibaba Cloud DataWorks. Его ключевая архитектура разделяет одну синхронизацию на две части: плагин Reader отвечает за чтение данных из исходного источника, плагин Writer — за запись в целевой приёмник. Фреймворк передаёт данные между ними и через систему плагинов адаптируется к различным системам хранения и вычислений; после добавления плагина нового источника теоретически можно образовывать комбинации чтения и записи с существующими источниками. Поддерживаемый в README охват включает несколько типов: реляционные базы данных — MySQL, Oracle, OceanBase, SQL Server, PostgreSQL, DRDS, Kingbase и универсальные RDBMS; NoSQL и хранилища больших данных — HBase, MongoDB, Cassandra, OTS, Phoenix и другие; хранилища данных и аналитические системы — Hive, MaxCompute/ODPS, Hologres, ClickHouse, StarRocks, Apache Doris, Databend, SelectDB и другие; кроме того, поддерживаются HDFS, OSS, FTP, TxtFile, DataHub, SLS, OpenTSDB, TSDB, TDengine, Neo4j и другие. Поддержка Reader и Writer для разных источников не полностью одинакова, при использовании необходимо сверяться с документацией соответствующего плагина. Проект предоставляет вводную документацию, быстрое начало, справочное руководство по источникам данных и руководство по разработке плагинов, а также доступные для скачивания дистрибутивы. Разработчики могут подключать новые источники данных согласно документации по разработке плагинов. В последних версиях также затрагиваются чтение и запись HDFS Parquet, экспорт TxtFile с операторами insert, условия where для Phoenix, плагины GaussDB и ClickHouse, а также ряд исправлений драйверов и проблем. Следует учитывать, что интеграция данных Alibaba Cloud DataWorks является коммерческой версией, основанной на возможностях команды DataX; в README указано, что она предлагает больше источников данных, синхронизацию в реальном времени, миграцию целых баз, массовый перенос в облако, инкрементную синхронизацию и схемы с шардированием и разделением таблиц; эти расширенные возможности не следует напрямую приравнивать к открытой версии DataX. Открытый код распространяется под лицензией Apache и может использоваться бесплатно.