正文

主从复制和读写分离(代码片段)

阳光小王子  阳光小王子  2022-12-05  405

关键词：

主从复制和读写分离

一.概述

一.概述

 在企业应用中，成熟的业务通常数据量都比较大
 单台mysql在安全性、高可用性和高并发方面都无法满足实际需求
 配置多台主从数据库服务器以实现读写分离

二.主从复制原理

1.mysql复制类型

基于语句的复制（sql)
基于行的复制(记录）
混合类型的复制

2.mysql主从复制的工作过程

两个日志文件
三个线程
三个线程如何工作

 master：二进制日志文件
 dump线程

 slave:中继日志文件
 io线程
 sql线程

主从复制主要是通过日志文件进行恢复
master上的dump线程，把数据同步到二进制日志中
slave上的io线程，请求与master的二进制文件数据同步，从而进行同步到自己的中继日志中
slave上的sql线程，把自己中继日志中的文件，同步到slave数据库中

三.Mysql读写分离

1.读写分离原理

只在主服务器上写，只在从服务器上读
主数据库处理事务性查询，从数据库处理select查询
数据库复制用于将事务性查询的变更同步到集群中的从数据库

2.读写分离方案

基于程序代码实现
基于中间代理层实现
Mysql-Proxy
Amoeba

 Amoeba(中间代理层）：
 控制着mysql集群中读和写的分配
 间接对接客户端

3.读写分离存在的意义

 数据库的“写”操作比较耗时的
 数据库的“读”比较快
 读写分离解决的是：数据库的写入，影响了查询的效率

4.什么时候要读写分离

数据库不一定要读写分离，
如果程序使用数据库比较多，更新少，查询多的情况下会考虑使用
利用数据库主从复制，读写分离
可分担数据库压力，提高性能

四.Mysql主从复制和读写分离实验

案例拓扑图：

思路：

读操作直接访问从服务器
起到降低负载，负载均衡作用

第一步：客户端client访问代理服务器amoeba
第二步：代理服务器分配读写任务给后端集群
master负责写
slave负责读
第三步：主服务器将增删改查写入自己的二进制日志
第四步：从服务器将主服务器的二进制日志同步到自己中继日志
第五步：从服务器将中继日志数据同步到自己数据库中

主机	操作系统	ip地址	所需工具/软件包
Amoeba	centos7	192.168.133.10	jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Master	centos7	192.168.133.20	ntp 、 mysql-boost-5.7.20.tar.gz
slave1	centos7	192.168.133.30	ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
slave2	centos7	192.168.133.40	ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
客户端	centos7	192.168.133.50

将所有主机的防火墙和安全机制关闭

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1.搭建Mysql主从复制

1）Mysql主从服务器时间同步

Master服务器：192.168.133.20

yum -y install ntp
vim /etc/ntp.conf

server 127.127.133.0					#设置本地是时钟源，注意修改网段
fudge 127.127.133.0 stratum 8			#设置时间层级为8（限制在15内）

service ntpd start

末行添加：

slave1服务器：192.168.133.30
slave2服务器：192.168.133.40

yum -y install ntp ntpdate

service ntpd start

/usr/sbin/ntpdate 192.168.163.11  #进行时间同步，指向Master服务器IP

crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.133.20

2)主服务器的mysql配置

Master服务器：192.168.133.20

vim /etc/my.cnf
server-id = 1
log-bin=master-bin      #添加，主服务器开启二进制日志
log-slave-updates=true  #添加，允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
#给从服务器授权
grant replication slave on *.* to 'myslave'@'192.168.133.%' identified by '123456';
flush privileges;

show master status;
#File 列显示日志名，Fosition 列显示偏移量

3）从服务器的mysql配置

slave1服务器:192.168.133.30
slave2服务器：192.168.133.40

vim /etc/my.cnf
#修改，注意id与Master的不同，两个Slave的id也要不同
server-id = 2
#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log=relay-log-bin
#添加，定义中继日志文件的位置和名称
relay-log-index=slave-relay-bin.index

systemctl restart mysqld

两台都要操作：

mysql -u root -p
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，
change master to master_host='192.168.133.20' , master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=604;

start slave;					#启动同步，如有报错执行 reset slave;
show slave status\\G				#查看 Slave 状态
/确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes			#负责与主机的io通信
Slave_SQL_Running: Yes			#负责自己的slave mysql进程

slave_Io_running:no的可能性：
网络不通
my.cnf配置有问题
密码、file文件名、pos偏移量不对
防火墙没有关闭

4）验证主从复制效果

主服务器上进行执行: 
create database test;

2.搭建Mysql读写分离

1）Amoeba服务器配置

Amoeba服务器：192.168.133.10

安装java环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

安装Amoeba软件

mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
#如显示amoeba start|stop 说明安装成功

2）主从服务器的mysql上授权

Master服务器:192.168.133.20
Slave服务器：192.168.133.30
Slave服务器：192.168.133.40

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to 'test'@'192.168.133.%' identified by 'abc123';

3）配置Amoeba读写分离，两个slave负载均衡

Amoeba服务器：192.168.133.10

①修改amoeba配置文件

cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak
vim amoeba.xml           #修改amoeba配置文件
#---------30修改------------------------------
<property name="user">amoeba</property>
#---------32修改------------------------------
<property name="password">123456</property>
#---------115修改-----------------------------
<property name="defaultPool">master</property>
#---------117去掉注释–------------------------
<property name="writePool">master</property>
<property name="readPool">slaves</property>

②修改数据库配置文件

cp dbServers.xml dbServers.xml.bak

vim dbServers.xml
#---------23注释掉--------------------------------------
作用：默认进入test库 以防mysql中没有test库时，会报错
<!-- mysql schema
<property name="schema">test</property>
-->
#---------26修改-----------------------------------------
<!-- mysql user -->
<property name="user">test</property>
#---------28-30去掉注释----------------------------------
<property name="password">abc123</property>
#---------45修改，设置主服务器的名Master------------------
<dbServer name="master"  parent="abstractServer">
#---------48修改，设置主服务器的地址----------------------
<property name="ipAddress">192.168.163.11</property>
#---------52修改，设置从服务器的名slave1-----------------
<dbServer name="slave1"  parent="abstractServer">
#---------55修改，设置从服务器1的地址---------------------
<property name="ipAddress">192.168.163.12</property>
#---------58复制上面6行粘贴，设置从服务器2的名slave2和地址---
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.163.13</property>
#---------修改后的65或66修改-------------------------------------
<dbServer name="slaves" virtual="true">
#---------71修改----------------------------------------
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start&	 #启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java		   	 #查看8066端口是否开启，默认端口为TCP 8066

4)测试读写分离

客户端：192.168.133.50
在客户端服务器上进行测试：

yum install -y mysql mysql-server

mysql -u amoeba -p123456 -h 192.168.163.10 -P8066

通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器在主服务器上

use test;
create table test (id int(10),name varchar(10),address varchar(20));

两台从服务器：

stop slave;			#关闭同步
use test;

在slave1:

insert into test values('1','slave1','this_is_slave1');

在slaves2上：

insert into test values('2','slave2','this_is_slave2');

在主服务器上：

insert into test values('3','master','this_is_master');

在客户端服务器上

use test;
select * from test;		
#客户端会分别向slave1和slave2读取数据，显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据

insert into test values('4','client','this_is_client');		//只有主服务器上有此数据

在两个服务器上执行 stat slave，可实现同步在主服务器上添加的数据：

start slave;

总结：

主从复制：

单台mysql无法满足需求
配置多台主从数据库实现读写分离

mysql复制类型：基于语句、基于行、混合复制

主从复制原理：通过日志文件恢复的，
master:二进制日志文件和dump线程
slave:中继日志文件和IO线程、sql线程

master通过dump线程将数据同步到二进制日志文件中
slave通过io线程将数据与二进制日志文件同步，并同步到自己的中继日志文件中，slave通过sql线程将数据同步到自己的数据库中

读写分离：

基于程序代码、中间代理层实现 amoeba

amoeba:控制mysql集群中读写分配
解决：数据库的写入，查询的效率
作用：分担数据库压力，提高性能
原理：主服务器上写，从服务器上读

客户端访问代理服务器amoeba，amoeba分配读写任务给后端集群
master复制写，slave负责读

mysql主从复制以及读写分离（❤❤❤❤含理论和实验❤❤❤❤大家中秋快乐！㊗）(代码片段)

文章目录一、MySQL主从复制的理论部分1.1、主从复制与读写分离的概述1.2、mysql支持的复制类型1.3、主从复制的工作过程（主写从复制❤❤❤❤）1.4、MySOL主从复制延迟的原因二、MySQL读写分离的理论部分2.1、MySQL读写分离... 查看详情

mysql数据库的主从复制和读写分离！(代码片段)

这里写目录标题一、主从复制1.1MySQL支持的复制类型1.2MySQL主从复制核心原理搭建MySQL的主从复制读写分离读写分离方法需要读写分离的原因及适用场景搭建读写分离一、主从复制在实际生产环境中，如果对数据库的读写都在... 查看详情

mysql数据库的主从复制和读写分离！(代码片段)

主从复制和读写分离(代码片段)

主从复制和读写分离一.概述二.主从复制原理1.mysql复制类型2.mysql主从复制的工作过程三.Mysql读写分离1.读写分离原理2.读写分离方案3.读写分离存在的意义4.什么时候要读写分离四.Mysql主从复制和读写分离实验案例拓扑图：思... 查看详情

mysql数据库——主从复制与读写分离(代码片段)

文章目录前言一、MySQL主从复制1.支持的复制类型2.主从复制的工作过程是基于日志3.请求方式4.主从复制的原理5.MySQL集群和主从复制分别适合在什么场景下使用6.为什么使用主从复制、读写分离7.用途及条件8.mysql主从复制存在的... 查看详情

mysql数据库--主从复制读写分离(代码片段)

文章目录一、主从复制1、原理2、二进制日志的保存方式3、主从复制策略4、搭建MySQL主从复制二、读写分离1、原理2、读写分离3、读写分离的好处4、实现方式4.1、Amoeba简介五、搭建MySQL读写分离1、实验准备2、amoeba(192.168.35.30)安... 查看详情

mysql的主从复制和读写分离(代码片段)

主从复制和读写分离一，mysql的主从分离实验环境同步时间1、配置三台主机的配置文件2、主服务创建和授权用户3、开启服务主服务器5、同步旧数据库6、开启从服务器的内容7，开启测试二、读写分离原理：实现方式&... 查看详情

mysql主从复制及读写分离实际部署与验证(代码片段)

MySQL主从复制及读写分离前言：一、主从复制1.原理：2.准备来做主从复制和读写分离的服务器如下：3.主从复制具体步骤1.关闭所有服务器的防火墙2.Mysql主从服务器都进行时间同步3.主从服务器mysql配置4.从服务器的mysq... 查看详情

mysql数据库mysql主从复制和sharding-jdbc实现读写分离(代码片段)

文章目录1.MySQL主从复制1.1MySQL主从复制介绍1.2MySQL主从复制配置2.数据库读写分离2.1读写分离介绍2.2Sharding-JDBC2.2.1Sharding-JDBC介绍2.2.2Sharding-JDBC实现读写分离1.MySQL主从复制1.1MySQL主从复制介绍MySQL主从复制是一个异步的复制过程ÿ... 查看详情

mysql数据库mysql主从复制和sharding-jdbc实现读写分离(代码片段)

mysql主从复制与读写分离（原理深刻，过程详细，值得一看）(代码片段)

...是读写分离(2)为什么要读写分离(3)什么时候要读写分离(4)主从复制与读写分离2.MySQL主从复制(1)mysql支持的复制类型(2)主从复制的工作过程(3)mysql主从复制高延迟的原因(4)mysql主从复制高延迟的解决办法3.常见的MySQL读写分离方式(1)... 查看详情

mysql主从复制与读写分离！(代码片段)

mysql主从复制与读写分离一.前言二.主从复制原理1.mysql的复制类型（1）STATEMENT（基于SQL语句）:（2）ROW(基于行)（3）MIXED推荐使用2.主从复制的过程详解（1）核心点（2）详细复制过程... 查看详情

mysql主从复制和读写分离(代码片段)

MySQL主从复制和读写分离mysql主从复制mysql复制类型主从复制的工作过程mysql主从复制延迟搭建mysql主从复制MySQL读写分离mysql读写分离原理搭建mysql读写分离mysql主从复制mysql复制类型statement基于语句的复制。在服务器上执行sql语句&... 查看详情

mysql主从复制与读写分离的理论+实操（配有详细图释）(代码片段)

主从复制与读写分离一、为什么需要主从复制与读写分离？二、主从复制原理2.1MySQL支持的复制类型2.2MySQL主从复制工作过程三、读写分离原理3.1MySQL读写分离工作过程四、搭建主从复制与读写分离4.1实验环境4.2时间同步（... 查看详情

mysql主从复制读写分离(代码片段)

主从复制原理主从复制原理核心在于2个日志文件，3个线程2个日志：二进制日志和中继日志三个线程：master上的dump线程，slave上的IO线程和SQL线程master服务器上的dump线程会监听二进制日志的更新，如果有更新... 查看详情

[redis]主从复制读写分离哨兵集群的原理分析和配置关注点(代码片段)

...解Redis大规模集群的由来，就必然跨不过理解哨兵和主从复制的由来以及存在的缺陷，不管谁学习这几个知识点都逃不过这个顺序… 一、主从复制+读写分离现在的公司项目如果有Redis那么一定是集群的，再差再差... 查看详情

mycat主从复制读写分离nginx负载均衡请求转发(代码片段)

1.主从复制1.搭建主从复制2.搭建读写分离3.mycat的下载与安装2.搭建应用服务器集群1.主从复制1.现有单体架构存在的问题随着互联网发展和兴起,当大量请求涌入的时候,单节点的应用服务器(tomcat)和单节点的数据库服务器(mysql),会... 查看详情