关键词：

mysql跨机房异地区的主从数据库同步备份业务实现解决方案

 

背景

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

 

基于日志增量订阅&消费支持的业务：

1. 数据库镜像
2. 数据库实时备份
3. 多级索引 (卖家和买家各自分库索引)
4. search build
5. 业务cache刷新
6. 价格变化等重要业务消息

项目介绍

名称：canal [k?‘næl]

译意： 水道/管道/沟渠

语言： 纯java开发

定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

关键词： mysql binlog parser / real-time / queue&topic

 

工作原理

mysql主备复制实现

从上层来看，复制分成三步：

1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
2. slave将master的binary log events拷贝到它的中继日志(relay log)；
3. slave重做中继日志中的事件，将改变反映它自己的数据。

canal的工作原理：

原理相对比较简单：

1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3. canal解析binary log对象(原始为byte流)

重要版本更新说明

canal 1.1.x系列，参考release文档：版本发布信息

1. 整体性能测试&优化,提升了150%. #726 参考: 【Performance】
2. 原生支持prometheus监控 #765 【Prometheus QuickStart】
3. 原生支持kafka消息投递 #695 【Canal Kafka/RocketMQ QuickStart】
4. 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: 【Aliyun RDS QuickStart】
5. 原生支持docker镜像 #801 参考: 【Docker QuickStart】

相关文档

See the wiki page for : wiki文档

wiki文档列表

• Home
• Introduction
• QuickStart
  • Docker QuickStart
  • Canal Kafka/RocketMQ QuickStart
  • Aliyun RDS QuickStart
  • Prometheus QuickStart
• AdminGuide
• ClientExample
• ClientAPI
• Performance
• DevGuide
• BinlogChange(Mysql5.6)
• BinlogChange(MariaDB)
• TableMetaTSDB
• ReleaseNotes
• Download
• FAQ

多语言业务

1. canal整体交互协议设计上使用了protobuf3.0，理论上可以支持绝大部分的多语言场景，欢迎大家提交多客户端的PR
   • canal java客户端: https://github.com/alibaba/canal/wiki/ClientExample
   • canal c#客户端开源项目地址： https://github.com/CanalSharp/CanalSharp
   • canal go客户端开源项目地址： https://github.com/CanalClient/canal-go
2. canal作为MySQL binlog的增量获取工具，可以将数据投递到MQ系统中，比如Kafka/RocketMQ，可以借助于MQ的多语言能力
   • 参考文档: Canal Kafka/RocketMQ QuickStart

相关资料

• ADC阿里技术嘉年华分享ppt (放在google docs上，可能需要FQ): ppt下载
• 与阿里巴巴的RocketMQ配合使用

相关开源

1. 阿里巴巴分布式数据库同步系统(解决中美异地机房)：http://github.com/alibaba/otter
2. 阿里巴巴去Oracle数据迁移同步工具(目标支持MySQL/DRDS)：http://github.com/alibaba/yugong

相关产品

1. 阿里云分布式数据库DRDS
2. 阿里云数据传输服务DTS
3. 阿里云数据库备份服务DBS
4. 阿里云数据管理服务DMS

mysql数据库主从同步（复制）热备份

...数据的发展，数据的安全问题日益凸显，往常不被重视的数据库维护变得必不可缺，数据的灾备变成个各大企业/个人站长业务运行中必须重视的环节。上一篇文章提到了自动化备份避灾的几种方案及选择，今天就来实践一下主... 查看详情

利用otter实现跨机房数据同步

Otter:   otter是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。 环境：(由于环境隐... 查看详情

canal实现mysql数据实时同步

...al[kə’næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从20... 查看详情

elasticsearch实战（四十七）-canal实现mysql数据实时同步方案

    Canal主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费        早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigg... 查看详情

案例分享跨机房es同步实战

背景众所周知单个机房在出现不可抗拒的问题（如断电、断网等因素）时，会导致无法正常提供服务，会对业务造成潜在的损失。所以在协同办公领域，一种可以基于同城或异地多活机制的高可用设计，在... 查看详情

异地灾备(代码片段)

...?在不可控因素，尽快恢复线上业务??历史查看等异地容灾数据库数据??1.同步：异地建立一个从库，实时同步线上的数据；服务器配置不需要很好，需要提升为主库时候升级配置即可。??2.备份：使用异地从库专门用于备份，不对... 查看详情

elasticsearch实战（四十七）-canal实现mysql数据实时同步方案(代码片段)

    Canal主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费        早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从2010年... 查看详情

mysql数据库实现主从同步数据

MySQL数据库实现主从同步数据参考链接：http://www.cnblogs.com/wxf020412/archive/2007/09/25/905628.htmlhttp://369369.blog.51cto.com/319630/790921 1、说明  利用数据库本身的数据同步机制实现数据同步，还可以通过备份数据库目录实现，以及... 查看详情

mysql主从同步--原理及实现

...的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。容错，高可用。Failover(失败切换)/HighAvailability数据备份。3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管是delete、update... 查看详情

mysql主从同步--原理及实现

...的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。容错，高可用。Failover(失败切换)/HighAvailability数据备份。3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管是delete、update... 查看详情

mysql主从同步--原理及实现

...的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。容错，高可用。Failover(失败切换)/HighAvailability数据备份。3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管是delete、update... 查看详情

mysql主从同步--原理及实现

...的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。容错，高可用。Failover(失败切换)/HighAvailability数据备份。3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管是delete、update... 查看详情

canal实现同步mysql至es(代码片段)

...务trigger获取增量变更。从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实... 查看详情

mysql到mysql分表数据迁移(代码片段)

...ff0c;很少会遇到迁移数据的机会，之前做的迁移《MYSQL数据库单表亿级数据不停机迁移_bohu83的博客-CSDN博客_mysql亿级数据迁移》业务场景是阿里云的数据库，迁移用了dts.在线不停机迁移,还是自己去做。二 技术选型如果运... 查看详情

mysql中主从复制不同步？

...#39;%server_id%';看看是不是没有设置成功第二看看是不是数据库的版本不同，参考技术A1.网络的延迟由于mysql主从复制是基于binlog的一种异步复制，通过网络传送binlog文件，理所当然网络延迟是主从不同步的绝大多数的原因，特... 查看详情

实现两个mysql数据库之间的主从同步(代码片段)

概述MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。 环境操作系... 查看详情

mysql主从同步原理解析！

大神请绕行！一、为什么要主从同步？我们会对数据库进行大量的读写操作，而如果数据库非常庞大的话，对我们的主机压力非常大，我们想到了一个解决的办法：两台服务器，一台只用来读取操作，一台只用来写入操作。二、... 查看详情

mysql主从同步原理解析！

大神请绕行！一、为什么要主从同步？我们会对数据库进行大量的读写操作，而如果数据库非常庞大的话，对我们的主机压力非常大，我们想到了一个解决的办法：两台服务器，一台只用来读取操作，一台只用来写入操作。二、... 查看详情