mysql主从复制原理(代码片段)

知其黑、受其白 知其黑、受其白     2023-03-04     491

关键词:

阅读目录

MySQL主从复制原理

1 数据库主从概念、优点、用途

主从数据库是什么意思呢,主是主库的意思,从是从库的意思。

数据库主库对外提供读写的操作,从库对外提供读的操作。


数据库为什么需要主从架构呢?

高可用,实时灾备,用于故障切换。

比如主库挂了,可以切从库。

读写分离,提供查询服务,减少主库压力,提升性能,备份数据,避免影响业务。

2 数据库主从复制原理

主从复制原理,简言之,分三步曲进行:

1 主数据库有个 bin log 二进制文件,记录了所有增删改 SQL 语句。(binlog线程)

2 从数据库把主数据库的 bin log 文件的 SQL 语句复制到自己的中继日志 relay log(io线程)

3 从数据库的 relay log 重做日志文件,再执行一次这些sql语句。(sql执行线程)


上图主从复制过程分了五个步骤进行:

1 主库的更新SQL(update、insert、delete)被写到 binlog。
2 从库发起连接,连接到主库。

3 此时主库创建一个 binlog dump thread,把 bin log 的内容发送到从库。

4 从库启动之后,创建一个 I/O 线程,读取主库传过来的 bin log 内容并写到 relay log。

5 从库还会创建一个SQL线程,从 relay log 里面读取内容,从 ExecMasterLog_Pos 位置开始执行读取到的更新事件,将更新内容写入到 slave 的 db。

3 主主、主从、主备的区别

数据库主主:

两台都是主数据库,同时对外提供读写操作。
客户端访问任意一台。
数据存在双向同步。

数据库主从:

一台是主数据库,同时对外提供读写操作。
一台是从数据库,对外提供读的操作。
数据从主库同步到从库。

从库和备库,就是slave库功能不同因此叫法不一样而已。

一般slave库都会对外提供读的功能的,因此,大家日常听得最多的就是主从。

4 MySQL是怎样保证主从一致的

从库拿到并执行主库的binlog日志,就可以保持数据与主库一致了。

长链接

主库和从库在同步数据的过程中断怎么办呢,数据不就会丢失了嘛。

因此主库与从库之间维持了一个长链接,主库内部有一个线程,专门服务于从库这个长链接。

哪些情况会导致不一致呢?
如果主库和从库选的索引不一致,可能会导致主库不一致。


如何解决这个问题呢?

可以把binlog格式修改为 row。row 格式的 binlog 日志,记录的不是 SQL原文,而是两个 event: Table_map 和 Delete_rows。Table_map event 说明要操作的表,Delete_rows event 用于定义要删除的行为,记录删除的具体行数。row 格式的binlog记录的就是要删除的主键ID信息,因此不会出现主从不一致的问题。

但是如果SQL删除10万行数据,使用row格式就会很占空间的,10万条数据都在 binlog 里面,写 binlog 的时候也很耗IO。但是 statement 格式的binlog可能会导致数据不一致,因此设计MySQL的大叔想了一个折中的方案,mixed 格式的 binlog。所谓的 mixed格式其实就是 row 和 statement 格式混合使用,当 MySQL 判断可能数据不一致时,就用 row 格式,否则使用 statement 格式。

5 数据库主从延迟的原因与解决方案

主从延迟是怎样定义的呢?

与主从数据同步相关的时间点有三个:

1 主库执行完一个事务,写入binlog,我们把这个时刻记为 T1;

2 主库同步数据给从库,从库接受完这个binlog的时刻,记录为 T2;

3 从库执行完这个事务,这个时刻记录为 T3。

所谓主从延迟,其实就是指同一个事务,在从库执行完的时间和在主库执行完的时间差值,即 T3-T1。

6 哪些情况会导致主从延迟呢?

1 如果从库所在的机器比主库的机器性能差,会导致主从延迟,这种情况比较好解决,只需选择主从库一样规格的机器就好。

2 如果从库的压力大,也会导致主从延迟。

比如主库直接影响业务,大家可能使用会比较克制,因此一般查询都打到从库了,结果导致从库查询消耗大量CPU,影响同步速度,最后导致主从延迟。

这种情况的话,可以搞一主多从架构,即多接几个从库分摊读的压力。另外,还可以把binlog接入到Hadoop这类系统,让它们提供查询的能力。

3 大事务也会导致主从延迟。

如果一个事务执行就要10分钟,那么主库执行完后,给到从库执行,最后这个事务可能就会导致从库延迟10分钟啦。

日常开发中,我们为什么特别强调,不要一次性delete太多SQL,需要分批进行,其实也是为了避免大事务。

另外,大表的DDL语句,也会导致大事务,大家日常开发关注一下哈。

4 网络延迟也会导致主从延迟,这种情况你只能优化你的网络啦,比如带宽20M升级到100M类似意思等。

5 如果从数据库过多也会导致主从延迟,因此要避免复制的从节点数量过多。从库数据一般以3-5个为宜。

6 低版本的MySQL只支持单线程复制,如果主库并发高,来不及传送到从库,就会导致延迟。可以换用更高版本的Mysql,可以支持多线程复制。

7 数据的库高可用方案

双机主备高可用


架构描述:

两台机器A和B,A为主库,负责读写,B为备库,只备份数据。

如果A库发生故障,B库成为主库负责读写。

修复故障后,A成为备库,主库B同步数据到备库A

优点:一个机器故障了可以自动切换,操作比较简单。

缺点:只有一个库在工作,读写压力大,未能实现读写分离,并发也有一定限制。

一主一从


架构描述:
两台机器A和B,A为主库,负责读写,B为从库,负责读数据。

如果A库发生故障,B库成为主库负责读写。

修复故障后,A成为从库,主库B同步数据到从库A。

优点:从库支持读,分担了主库的压力,提升了并发度。一个机器故障了可以自动切换,操作比较简单。

缺点:一台从库,并发支持还是不够,并且一共两台机器,还是存在同时故障的机率,不够高可用。

一主多从


架构描述:

一台主库多台从库,A为主库,负责读写,B、C、D为从库,负责读数据。

如果A库发生故障,B库成为主库负责读写,C、D负责读。修复故障后,A也成为从库,主库B同步数据到从库A。

优点:多个从库支持读,分担了主库的压力,明显提升了读的并发度。

缺点:只有台主机写,因此写的并发度不高。

MariaDB 同步多主机集群


架构描述:
有代理层实现负载均衡,多个数据库可以同时进行读写操作;

各个数据库之间可以通过 Galera Replication 方法进行数据同步,每个库理论上数据是完全一致的。

优点:读写的并发度都明显提升,可以任意节点读写,可以自动剔除故障节点,具有较高的可靠性。

缺点:数据量不支持特别大。要避免大事务卡死,如果集群节点一个变慢,其他节点也会跟着变慢。

数据库中间件

架构描述:mycat分片存储,每个分片配置一主多从的集群。
优点:解决高并发高数据量的高可用方案
缺点:维护成本比较大。

从理论到实战,彻底搞懂mysql主从复制原理(代码片段)

文章目录前言常见主从架构模式单向主从双向主从级联主从多主一从主从原理基于语句复制(STATEMENT)基于行复制(ROW)混合模式(MIXED)主从实战一主一从双向主从级联主从多主一从半同步复制实战GTID前... 查看详情

简述mysql主从复制的原理面试必看(代码片段)

MySQL主从复制主节点和从节点同步数据,每个节点保持数据一致MySQL主从复制的作用实现负载均衡读写分离实现数据库备份实现数据库高可用和故障切换MySQL主从复制原理和过程MySQL主从复制依赖二进制日志实现主节点更新数... 查看详情

mysql主从复制(代码片段)

目录主从复制基础主从复制简介主从复制前提主从复制搭建主库配置(3307实例)从库配置(3308实例)主从复制原理主从复制相关文件主从复制相关线程主从复制图解原理主从故障监控/分析/处理IO线程故障连接主... 查看详情

主从复制和读写分离(代码片段)

主从复制和读写分离一.概述二.主从复制原理1.mysql复制类型2.mysql主从复制的工作过程三.Mysql读写分离1.读写分离原理2.读写分离方案3.读写分离存在的意义4.什么时候要读写分离四.Mysql主从复制和读写分离实验案例拓扑图:思... 查看详情

mysql主从复制原理和使用(代码片段)

...库的高可用,不会只有一个数据库节点。至少会搭建主从复制的数据库架构,从库可以作为主库的数据备份,以免主数据库损坏的情况下丢失数据;当访问量增加的时候可以作为读节点承担部分流量等。下面就进... 查看详情

半万字长文学习mysql主从复制原理,面试必问,建议收藏!(代码片段)

快速导航一、主从复制到底是啥1、一张图过程2、新的备库与主库同步方法3、复制配置二、主从复制有什么用1、数据备份2、负载均衡3、高可用性和故障切换4、MySQL升级测试三、复制原理有2个1、基于语句的复制:2、基于行... 查看详情

半万字长文学习mysql主从复制原理,面试必问,建议收藏!(代码片段)

快速导航一、主从复制到底是啥1、一张图过程2、新的备库与主库同步方法3、复制配置二、主从复制有什么用1、数据备份2、负载均衡3、高可用性和故障切换4、MySQL升级测试三、复制原理有2个1、基于语句的复制:2、基于行... 查看详情

mysql(23)—数据库主从复制的基本原理和步骤(代码片段)

详细介绍了MySQL主从复制的原理和基本流程,以及一些问题的处理方式。文章目录1主从复制的原理2主从切换3双主互备4主备延迟4.1什么是主备延迟4.2主备延迟的原因4.3主备切换策略4.3.1可靠性优先策略4.3.2可用性优先策略1.4.... 查看详情

mysql数据库——主从复制与读写分离(代码片段)

文章目录前言一、MySQL主从复制1.支持的复制类型2.主从复制的工作过程是基于日志3.请求方式4.主从复制的原理5.MySQL集群和主从复制分别适合在什么场景下使用6.为什么使用主从复制、读写分离7.用途及条件8.mysql主从复制存在的... 查看详情

mysql主从复制(代码片段)

MySQL主从复制前言:一.什么叫高可性:二.MySQL设计思路三.MySQL主从复制原理3.1MySQL的复制类型3.2MySQL主从复制默认使用的机制3.3MySQL主从复制工作过程四.主从复制配置4.1主从服务器时间同步4.2配置主从同步4.3配置规则4.4验... 查看详情

msyql5.7主从复制(代码片段)

目录mysql主从复制主从原理配置主从复制master主节点配置slave从节点配置mysql主从复制合理的mysql主从复制需要3台机器,每台机器上都有mysql。3台中,一台是master节点,负责数据写入。另外两台负责读取。绝大多数的业... 查看详情

mysql主从复制及读写分离实际部署与验证(代码片段)

MySQL主从复制及读写分离前言:一、主从复制1.原理:2.准备来做主从复制和读写分离的服务器如下:3.主从复制具体步骤1.关闭所有服务器的防火墙2.Mysql主从服务器都进行时间同步3.主从服务器mysql配置4.从服务器的mysq... 查看详情

mysql主从复制原理及一主一从搭建过程—2023.04(代码片段)

文章目录一、MySQL主从复制介绍1、主从复制概念2、为什么要做主从复制3、主从复制原理4、主从复制形式5、主从复制主要用途二、MySQL一主一从搭建1、准备工作2、MySQL主从复制部署流程1.关闭防火墙,两台主机都操作2.修改配置... 查看详情

mysql深入浅出主从复制数据同步原理(代码片段)

【MySQL】深入浅出主从复制数据同步原理参考资料:全解MySQL之主从篇:死磕主从复制中数据同步原理与优化MySQL日志:undolog、redolog、binlog有什么用?文章目录【MySQL】深入浅出主从复制数据同步原理一、主从复制... 查看详情

mysql的主从复制(代码片段)

MySQL的主从复制Whyweneed主从复制?复制功能复制方式复制原理复制流程图复制过程复制中线程的作用从节点主节点从节点需要建立二进制日志文件吗?Mysql复制特点主从复制配置过程主节点从节点配置演示主机修改my.ini配置文... 查看详情

mysql数据库--主从复制读写分离(代码片段)

文章目录一、主从复制1、原理2、二进制日志的保存方式3、主从复制策略4、搭建MySQL主从复制二、读写分离1、原理2、读写分离3、读写分离的好处4、实现方式4.1、Amoeba简介五、搭建MySQL读写分离1、实验准备2、amoeba(192.168.35.30)安... 查看详情

mysql主从复制与读写分离!(代码片段)

mysql主从复制与读写分离一.前言二.主从复制原理1.mysql的复制类型(1)STATEMENT(基于SQL语句):(2)ROW(基于行)(3)MIXED推荐使用2.主从复制的过程详解(1)核心点(2)详细复制过程... 查看详情

mysql主从复制原理(代码片段)

阅读目录MySQL主从复制原理1数据库主从概念、优点、用途2数据库主从复制原理3主主、主从、主备的区别4MySQL是怎样保证主从一致的5数据库主从延迟的原因与解决方案6哪些情况会导致主从延迟呢?7数据的库高可用方案双机... 查看详情