canal

## 简介 canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因跨机房同步需求，从业务 trigger 方式逐步转向数据库日志解析，衍生出大量增量订阅和消费业务。 基于日志增量订阅和消费的业务包括：数据库镜像、数据库实时备份、索引构建和实时维护（拆分异构索引、倒排索引等）、业务 cache 刷新、带业务逻辑的增量数据处理。 当前 canal 支持源端 MySQL 版本包括 5.1.x、5.5.x、5.6.x、5.7.x、8.0.x。 ## 工作原理 ### MySQL主备复制原理 - MySQL master 将数据变更写入二进制日志（binary log，记录为二进制日志事件 binary log events） - MySQL slave 将 master 的 binary log events 拷贝到中继日志（relay log） - MySQL slave 重放 relay log 中事件，将数据变更反映到自身数据 ### canal 工作原理 - canal 模拟 MySQL slave 的交互协议，伪装为 MySQL slave，向 MySQL master 发送 dump 协议 - MySQL master 收到 dump 请求后，开始推送 binary log 给 canal - canal 解析 binary log 对象（原始为 byte 流） ## 重要版本更新说明 ### canal 1.1.x 版本 - 整体性能测试与优化，提升 150%（#726） - 原生支持 Prometheus 监控（#765） - 原生支持 Kafka 消息投递（#695） - 原生支持阿里云 RDS 的 binlog 订阅（解决自动主备切换/oss binlog 离线解析） - 原生支持 Docker 镜像（#801） ### canal 1.1.4 版本 - 引入 WebUI 能力，新增 canal-admin 工程，支持面向 WebUI 的 canal 动态管理，包括配置、任务、日志等在线白屏运维能力 ## 文档 提供完整文档，包括 Home、Introduction、QuickStart（Docker、Kafka/RocketMQ、阿里云 RDS、Prometheus）、Canal Admin（QuickStart、Guide、ServerGuide、Docker）、AdminGuide、ClientExample、ClientAPI、Performance、DevGuide、BinlogChange（MySQL 5.6/MariaDB）、TableMetaTSDB、ReleaseNotes、Download、FAQ。 ## 多语言 canal 采用 client-server 模式，交互协议使用 protobuf 3.0，客户端可用不同语言实现消费逻辑： - Java 客户端：官方示例 - C# 客户端：CanalSharp - Go 客户端：canal-go - PHP 客户端：canal-php - Python 客户端：canal-python - Rust 客户端：canal-rs - Nodejs 客户端：canal-nodejs canal 作为 MySQL binlog 增量获取和解析工具，可将变更记录投递到 MQ 系统（如 Kafka/RocketMQ），借助 MQ 的多语言能力。 ## 基于 canal 开发的工具 - canal2sql（基于 binlog 生成 SQL） ## 相关开源与产品 - canal 消费端开源项目：Otter - 阿里巴巴去 Oracle 数据迁移同步工具：yugong - 阿里巴巴离线同步开源项目：DataX - 阿里巴巴数据库连接池开源项目：Druid - 阿里巴巴实时数据同步工具：DTS ## 问题反馈 - 报告 issue：GitHub Issues - 项目 Issues 会同步沉淀至阿里云开发者社区