mysql主从复制搭建之一主一从双主双从搭建(代码片段)

活跃的咸鱼 活跃的咸鱼     2022-12-09     371

关键词:

1.MySQL主从复制原理

1.1 为什么要做主从复制?

  1. 在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运行。
  2. 做数据的热备,主库宕机后能够及时替换主库,保证业务可用性。
  3. 架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。

1.2 MySQL主从复制的流程

在这里插入图片描述

  1. 主库db的更新事件(update、insert、delete)被写到binlog(二进制日志文件)
  2. 主库创建一个binlog dump thread(二进制日志文件备份线程),把binlog的内容发送到从库
  3. 从库启动并发起连接,连接到主库
  4. 从库启动之后,创建一个I/O线程,读取主库传过来的binlog内容并写入到relaylog
  5. 从库启动之后,创建一个SQL线程,从relaylog里面读取内容,从Exec_Master_Log_Pos(该位置是配置master时生成的)位置开始执行读取到的更新事件,将更新内容写入到slave的db

注:上述流程为相对流程,并非绝对流程

1.3 MySQL主从复制的原理

MySQL主从复制是一个异步的复制过程,主库发送更新事件到从库,从库读取更新记录,并执行更新记录,使得从库的内容与主库保持一致。

binlog: binary log,主库中保存所有更新事件日志的二进制文件。binlog是数据库服务启动的一刻起,保存数据库所有变更记录(数据库结构和内容)的文件。在主库中,只要有更新事件出现,就会被依次地写入到binlog中,之后会推送到从库中作为从库进行复制的数据源。

binlog输出线程: 每当有从库连接到主库的时候,主库都会创建一个线程然后发送binlog内容到从库。 对于每一个即将发送给从库的sql事件,binlog输出线程会将其锁住。一旦该事件被线程读取完之后,该锁会被释放,即使在该事件完全发送到从库的时候,该锁也会被释放。

在从库中,当复制开始时,从库就会创建从库I/O线程和从库的SQL线程进行复制处理。

从库I/O线程: 当START SLAVE语句在从库开始执行之后,从库创建一个I/O线程,该线程连接到主库并请求主库发送binlog里面的更新记录到从库上。 从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件,其中包括relay log文件。

从库的SQL线程:从库创建一个SQL线程,这个线程读取从库I/O线程写到relay log的更新事件并执行。

综上所述,可知:

对于每一个主从复制的连接,都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程,每一个从库都有它自己的I/O线程和SQL线程。

从库通过创建两个独立的线程,使得在进行复制时,从库的读和写进行了分离。因此,即使负责执行的线程运行较慢,负责读取更新语句的线程并不会因此变得缓慢。比如说,如果从库有一段时间没运行了,当它在此启动的时候,尽管它的SQL线程执行比较慢,它的I/O线程可以快速地从主库里读取所有的binlog内容。这样一来,即使从库在SQL线程执行完所有读取到的语句前停止运行了,I/O线程也至少完全读取了所有的内容,并将其安全地备份在从库本地的relay log,随时准备在从库下一次启动的时候执行语句。

2.MySQL一主一从搭建

准备的两台机器:

MySQLIP端口号
Master192.168.114.1323306
Slave192.168.114.1333306

2.1 master配置

1) 在master 的配置文件(/etc/my.cnf)中,配置如下内容:

#mysql 服务ID,保证整个集群环境中唯一
server-id=1

#mysql binlog 日志的存储路径和文件名
log-bin=mysql-bin

#设置logbin格式
binlog_format=STATEMENT

#是否只读,1 代表只读, 0 代表读写
read-only=0

#忽略的数据, 指不需要同步的数据库
binlog-ignore-db=mysql

#指定同步的数据库
binlog-do-db=db01

2) 执行完毕之后,需要重启Mysql:

service mysql restart ;

3) 创建同步数据的账户,并且进行授权操作:

GRANT REPLICATION SLAVE ON *.* to 
'root'@'192.168.114.133' identified by '123456';

flush privileges;

4) 查看master状态:

show master status;

在这里插入图片描述
字段含义:

File : 从哪个日志文件开始推送日志文件 
Position : 从哪个位置开始推送日志
Binlog_Ignore_DB : 指定不需要同步的数据库

2.2 slave配置

1) 在 slave 端配置文件/usr/my.cnf中,配置如下内容:

#mysql服务端ID,唯一
server-id=2

#启用中继日志
relay-log=mysql-relay

2) 执行完毕之后,需要重启Mysql:

service mysql restart;

3) 执行如下指令 :

CHANGE MASTER TO 
MASTER_HOST='192.168.114.132',//主机IP
MASTER_USER='root',//之前创建的用户账号
MASTER_PASSWORD='123456',//之前创建的用户密码
MASTER_LOG_FILE='mysql-bin.000002',//master主机的binlog日志名称
MASTER_LOG_POS=154,//binlog日志偏移量
master_port=3306;//端口

在这里插入图片描述

指定当前从库对应的主库的IP地址,用户名,密码,从哪个日志文件开始的那个位置开始同步推送日志。

4) 开启同步操作

start slave;

show slave status\\G;

只需要查看IO和SQL线程是否开启就行,看到了两个YES说明主从复制搭建完成。
在这里插入图片描述

5) 停止同步操作

stop slave;

2.3 验证主从同步

1) 在主库中创建数据库,创建表,并插入数据 :

create database db01;

user db01;

create table user(
	id int(11) not null auto_increment,
	name varchar(50) not null,
	sex varchar(1),
	primary key (id)
)engine=innodb default charset=utf8;

insert into user(id,name,sex) values(null,'Tom','1');
insert into user(id,name,sex) values(null,'Trigger','0');
insert into user(id,name,sex) values(null,'Dawn','1');

2) 在从库中查询数据,进行验证 :

在从库中,可以查看到刚才创建的数据库:
在这里插入图片描述
在该数据库中,查询user表中的数据:
在这里插入图片描述

一主一从的缺点是当主机或从机宕机后则无法对外提供服务,我们可以用双主双从的架构来解决这个问题。

3. MySQL双主双从搭建

3.1 架构

一个主机 Master1 用于处理所有写请求,它的从机 Slave1 和另一台主机 Master2 还有它的从机 Slave2 负责所有读请求。当 Master1 主机宕机后,Master2 主机负责写请求,Master1 、Master2 互为备机。架构图如下:
在这里插入图片描述

3.2 双主双从配置

准备的机器如下:

编号角色IP地址端口号
1Master1192.168.114.1293306
2Slave1192.168.114.1303306
3Master2192.168.114.1323306
4Slave2192.168.114.1333306

将之前的132和133之间主从关系断掉,只用在133上面执行如下命令既可

stop slave;
reset master;

1). 双主机配置

Master1配置:

#主服务器唯一ID
server-id=1

#启用二进制日志
log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)
# binlog-ignore-db=mysql
# binlog-ignore-db=information_schema

#设置需要复制的数据库
binlog-do-db=db02
binlog-do-db=db03
binlog-do-db=db04

#设置logbin格式
binlog_format=STATEMENT

# 在作为从数据库的时候,有写入操作也要更新二进制日志文件
log-slave-updates

Master2配置:

#主服务器唯一ID
server-id=3

#启用二进制日志
log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)
#binlog-ignore-db=mysql
#binlog-ignore-db=information_schema

#设置需要复制的数据库
binlog-do-db=db02
binlog-do-db=db03
binlog-do-db=db04

#设置logbin格式
binlog_format=STATEMENT

# 在作为从数据库的时候,有写入操作也要更新二进制日志文件
log-slave-updates

2). 双从机配置

Slave1配置:

#从服务器唯一ID
server-id=2

#启用中继日志
relay-log=mysql-relay

Salve2配置:

#从服务器唯一ID
server-id=4

#启用中继日志
relay-log=mysql-relay

3). 双主机、双从机重启 mysql 服务

service mysql restart 

4). 主机从机都关闭防火墙

systemctl stop firewalld.service

5). 在两台主机上建立帐户并授权 slave

#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'root'@'%' 
IDENTIFIED BY '123456';

flush privileges;

在这里插入图片描述

查询Master1的状态 :
在这里插入图片描述
查询Master2的状态 :
在这里插入图片描述

6). 在从机上配置需要复制的主机

Slave1 复制 Master1,Slave2 复制 Master2

slave1 指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.129',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=589;

slave2 指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.132',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=581;

7). 启动两台从服务器复制功能 , 查看主从复制的运行状态

start slave;

show slave status\\G;

在这里插入图片描述


在这里插入图片描述

8). 两个主机互相复制

Master2 复制 Master1,Master1 复制 Master2

Master1 执行指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.132',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=581;

Master2 执行指令:

CHANGE MASTER TO MASTER_HOST='192.168.114.129',
MASTER_USER='root',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=589;

9). 启动两台主服务器复制功能 , 查看主从复制的运行状态

start slave;

show slave status\\G;

在这里插入图片描述


在这里插入图片描述

3.3 验证

create database db03;

use db03;

create table user(
	id int(11) not null auto_increment,
	name varchar(50) not null,
	sex varchar(1),
	primary key (id)
)engine=innodb default charset=utf8;

insert into user(id,name,sex) values(null,'Tom','1');
insert into user(id,name,sex) values(null,'Trigger','0');
insert into user(id,name,sex) values(null,'Dawn','1');


insert into user(id,name,sex) values(null,'Jack Ma','1');
insert into user(id,name,sex) values(null,'Coco','0');
insert into user(id,name,sex) values(null,'Jerry','1');

在Master1上创建数据库:
在这里插入图片描述

在Master1上创建表 :
在这里插入图片描述
在这里插入图片描述

mycat学习第二天之性能监控,读写分离,集群搭建(代码片段)

...性能监控指标1.5Mycat-web之SQL监控2.MyCat读写分离搭建2.1MySQL主从复制原理2.2MySQL一主一从搭建2.3MyCat一主一从读写分离2.4MySQL双主双从搭建2.5MyCat双主双从读写分离3.Mycat集群搭建 查看详情

17rocketmq集群双主双从同步搭建(代码片段)

基于前面一主一从同步搭建我们企业级开发,一般采用的是双主双从同步,以及异步刷盘;同步消息保证消息不丢失,异步刷盘提高吞吐量;我们VM里再克隆两台机器;192.168.0.110机器作为m1主节点192.168.0.103... 查看详情

17rocketmq集群双主双从同步搭建(代码片段)

基于前面一主一从同步搭建我们企业级开发,一般采用的是双主双从同步,以及异步刷盘;同步消息保证消息不丢失,异步刷盘提高吞吐量;我们VM里再克隆两台机器;192.168.0.110机器作为m1主节点192.168.0.103... 查看详情

部署:单主部署一主一从部署双主双从部署代码测试(代码片段)

一.RocketMQ单机部署Hosts添加信息我们首先进入/etc/hosts来添加信息vim/etc/hosts添加信息如下: 上传解压安装包 通过XFTP工具将apache-rocketmq.tar.gz传到/usr/local/software,然后添加/usr/local/apache-rocketmq目录,再将apache-rocketmq.ta 查看详情

rocketmq4.5.1双主双从异步复制环境搭建(代码片段)

基础环境操作系统:CentOS7实例:192.168.63.129,192.168.63.130,192.168.63.131,192.168.63.132Java:jdk-8u191-linux-x64.tar.gz安装JDK先把系统里面自带的卸载掉 [[email protected]soft]#rpm-qa|grepjavapython-javapackages-3.4. 查看详情

mysql主从复制的简单搭建(代码片段)

文章目录1、MySQL一主一从的简单搭建1.1、主从复制简介1.2、MySQL主从复制简介1.3、主从复制的架构1.4、前期准备1.5、主要配置实现1.5.1、测试环境1.5.2、配置my.cnf文件1.5.3、启动mysql测试1.5.4、配置主从结构1.5.4.1、主服务器配置1.5.4... 查看详情

mysql主从复制的简单搭建(代码片段)

文章目录1、MySQL一主一从的简单搭建1.1、主从复制简介1.2、MySQL主从复制简介1.3、主从复制的架构1.4、前期准备1.5、主要配置实现1.5.1、测试环境1.5.2、配置my.cnf文件1.5.3、启动mysql测试1.5.4、配置主从结构1.5.4.1、主服务器配置1.5.4... 查看详情

4读写分离---双主双从(mycat)(代码片段)

...唯一IDserver-id=1##启用二进制日志log-bin=mysql-bin##设置不要复制的数据库(可设置多个)binlog-ignore-db=mysql##binlog-ignore-db=information_schema##设置需要复制的数据库binlog-do-d 查看详情

rocketmq-双主双从集群+dashborad搭建(云服务器)(代码片段)

...Master模式4.2.2、多Master模式4.2.3、多Master多Slave模式-异步复制4.2.4、多Master多Slave模式-同步双写最佳实践4.3RAID(补充知识 查看详情

mysql主从复制原理及一主一从搭建过程—2023.04(代码片段)

文章目录一、MySQL主从复制介绍1、主从复制概念2、为什么要做主从复制3、主从复制原理4、主从复制形式5、主从复制主要用途二、MySQL一主一从搭建1、准备工作2、MySQL主从复制部署流程1.关闭防火墙,两台主机都操作2.修改配置... 查看详情

主从复制:主从复制的概述一主一从架构搭建主从复制的原理同步数据一致性问题(代码片段)

文章目录1.主从复制的概述1.1如何提升数据库的并发能力1.2主从复制的作用2.主从复制的原理2.1原理剖析2.2复制的最大问题2.3复制的基本原则3.一主一从架构搭建3.1准备工作3.2主机配置文件3.3从机配置文件3.4建立账户并授权3.5配置... 查看详情

mysql数据库运维之主从复制搭建(代码片段)

...机多实例搭建,本篇文章将在上篇文章的基础上介绍MySQL主从复制过程,其中常见的复制架构有:异步复制,半同步复制及同步复制。常用的复制架构有异步复制及半同步复制!一、常见的复制架构1、主主复制(1)结构图:(2... 查看详情

mysql数据库运维之主从复制搭建(代码片段)

...机多实例搭建,本篇文章将在上篇文章的基础上介绍MySQL主从复制过程,其中常见的复制架构有:异步复制,半同步复制及同步复制。常用的复制架构有异步复制及半同步复制!一、常见的复制架构1、主主复制(1)结构图:(2... 查看详情

rocketmq集群搭建2(代码片段)

1.修改配置配件本次搭的集群是双主双从的同步模式  双主双从的配置文件再上图所示的里面服务器:192.168.100.128内需配置(下图中的:broker-a.properties和broker-b-s.properties)   broker-a.properties中的配置文件如下#所... 查看详情

mysql主从复制的简单搭建(代码片段)

文章目录1、MySQL一主一从的简单搭建1.1、主从复制简介1.2、MySQL主从复制简介1.3、主从复制的架构1.4、前期准备1.5、主要配置实现1.5.1、测试环境1.5.2、配置my.cnf文件1.5.3、启动mysql测试1.5.4、配置主从结构1.5.4.1、主服务器配置1.5.4... 查看详情

mysql5.7使用gtid模式搭建主从复制架构(代码片段)

一、架构两台mysql服务器做一主一从,172.28.18.69(主)172.28.18.78(从)二、分别编译安装mysql5.71、下载mysql5.7.26源码包[[email protected]1/]#mkdir/usr/local/src/mysql-5.7.26-src[[email protected]-1]#cd/usr/local/src/mysql-5.7 查看详情

3读写分离---一主一从(mycat)(代码片段)

通过Mycat和MySQL的主从复制配合搭建数据库的读写分离,实现MySQL的高可用性 一主一从mysql的配置一个主机用于处理所有写请求,一台从机负责所有读请求 ①MySQL主从复制原理从从机的接入点开始复制数据发生IO会有延时性... 查看详情

从理论到实战,彻底搞懂mysql主从复制原理(代码片段)

文章目录前言常见主从架构模式单向主从双向主从级联主从多主一从主从原理基于语句复制(STATEMENT)基于行复制(ROW)混合模式(MIXED)主从实战一主一从双向主从级联主从多主一从半同步复制实战GTID前... 查看详情