正文

redis系列之主从复制(代码片段)

老程不秃  老程不秃  2023-04-02  286

关键词：

主从复制

基本介绍

Redis支持主从复制功能，可以通过执行slaveof（Redis5版本以后改成replicaof）或者在配置文件中设置slaveof(Redis5版本以后改成replicaof)来开启复制功能。

一主两丛

一主多从

主从基本配置

主Redis配置

主Redis配置基本不用修改，重点部分在从Redis配置

从Redis配置

1、复制一份redis.conf文件

2、相关配置修改

# salve的端口号
port 6380 

#把pid进程号写入pidfile配置的文件
pidfile /var/run/redis_6380.pid 

logfile "6380.log"  

#指定数据存放目录
dir /usr/local/redis‐5.0.3/data/6380 

#需要注释掉bind
#bind127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可）
复制代码

3、配置主从复制

#从本机master6379的redis实例复制数据，Redis5.0之前使用slaveof
replicaof 192.168.0.60 6379

#配置从节点只读
replica‐read‐only yes
复制代码

4、启动从节点

redis‐server redis.conf
复制代码

5、连接从节点

redis‐cli ‐p 6380
复制代码

6、测试在6379实例上写数据，6380实例是否能及时同步新修改数据

docker run  --name redis-6381 -v /Users/yujiale/docker/redis/conf/redis6381.conf:/etc/redis/redis.conf -v /Users/yujiale/docker/redis/conf/sentinel6381.conf:/etc/redis/sentine.conf -v /Users/yujiale/docker/redis/data6381:/data --network localNetwork --ip 172.172.0.14 -p 16381:6379 -d redis:6.2.6 redis-server /etc/redis/redis.conf --appendonly yes
复制代码

主从配置的作用

读写分离

一主多从，主从同步
主负责写，从负责读
提升Redis的性能和吞吐量
主从的数据一致性问题

数据容灾

从机是主机的备份
主机宕机，从机可读不可写
默认情况下主机宕机后，从机不可为主机利用
哨兵可以实现主从切换，做到高可用

Redis主从工作原理

主从复制之全量复制

只有第一次从Redis连接主Redis时发生的是全量复制，如果是短点续传可能是全量复制，也可能是部分复制。

流程图

1、与主Redis建立Socker长连接

slaver与master建立socket连接

slaver关联文件事件处理器

该处理器接收RDB文件（全量复制）、接收Master传播来的写命令（增量复制）

主服务器accept从服务器Socket连接后，创建相应的客户端状态。相当于从服务器是主服务器的Client端。

发送ping命令
- Slaver向Master发送ping命令
  - 1、检测socket的读写状态
  - 2、检测Master能否正常处理
- Master的响应：
  - 1、发送“pong” ,说明正常
  - 2、返回错误，说明Master不正常
  - 3、timeout，说明网络超时

权限验证

主从正常连接后，进行权限验证

主未设置密码（requirepass=“”），从也不用设置密码（masterauth=“”）

主设置密码(requirepass!=""),从需要设置密码(masterauth=主的requirepass的值)

或者从通过auth命令向主发送密码

2、主Redis接收到PSYNC命令

主Redis接收到PSYNC命令后执行bgsave命令会生成最新的rdb快照，

3、主Redis把rdb快照发送给从Redis

主Redis发送rdb快照给从Redis时，master会继续接收客户端的请求，它会把这些可能修改数据集的请求缓存在内存中存储到relp buffer缓存中

同步快照阶段：Master创建并发送快照RDB给Slave，Slave载入并解析快照。Master同时将此阶段所产生的新的写命令存储到缓冲区。

4、从节点接收到rdb快照

从节点接收到rdb快照后清空老数据，并加载rdb文件

5、主Redis发送buffer缓存文件到从Redis

同步写缓冲阶段：Master向Slave同步存储在缓冲区的写操作命令。

6、从节点接收buffer缓存文件

从节点接收buffer缓存文件，并加载buffer缓存文件到内存中

7、主Redis通过Socker长连接连续把命令发送到从节点

从Redis接收到主Redis发送过来的命令，执行当前命令

总述

如果你为master配置了一个slave，不管这个slave是否是第一次连接上Master，它都会发送一个PSYNC命令给master请求复制数据。master收到PSYNC命令后，会在后台进行数据持久化通过bgsave生成最新的rdb快照文件，持久化期间，master会继续接收客户端的请求，它会把这些可能修改数据集的请求缓存在内存中。当持久化进行完毕以后，master会把这份rdb文件数据集发送给slave，slave会把接收到的数据进行持久化生成rdb，然后再加载到内存中。然后，master再将之前缓存在内存中的命令发送给slave。当master与slave之间的连接由于某些原因而断开时，slave能够自动重连Master，如果master收到了多个slave并发连接请求，它只会进行一次持久化，而不是一个连接一次，然后再把这一份持久化的数据发送给多个并发连接的slave。

主从复制之部分复制

大体流程跟全量复制差不多，就不过多讲解

简述

当master和slave断开重连后，一般都会对整份数据进行复制。但从redis2.8版本开始，redis改用可以支持部分数据复制的命令PSYNC去master同步数据，slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。master会在其内存中创建一个复制数据用的缓存队列，缓存最近一段时间的数据，master和它所有的slave都维护了复制的数据下标offset和master的进程id，因此，当网络连接断开后，slave会请求master继续进行未完成的复制，从所记录的数据下标开始。如果master进程id变化了，或者从节点数据下标offset太旧，已经不在master的缓存队列里了，那么将会进行一次全量数据的复制。主从复制(部分复制，断点续传)流程图：

主从复制之增量同步

Redis增量同步主要指Slave完成初始化后开始正常工作时，Master发生的写操作同步到Slave的过程。
通常情况下，Master每执行一个写命令就会向Slave发送相同的写命令，然后Slave接收并执行。

主从复制之心跳检测

1.检测主从的连接状态

检测主从服务器的网络连接状态通过向主服务器发送INFO replication命令，可以列出从服务器列表，可以看出从最后一次向主发送命令距离现在过了多少秒。lag的值应该在0或1之间跳动，如果超过1则说明主从之间的连接有故障。

2.辅助实现min-slaves

Redis可以通过配置防止主服务器在不安全的情况下执行写命令min-slaves-to-write 3（min-replicas-to-write 3）min-slaves-max-lag 10（min-replicas-max-lag 10）上面的配置表示：从服务器的数量少于3个，或者三个从服务器的延迟（lag）值都大于或等于10秒时，主服务器将拒绝执行写命令。这里的延迟值就是上面INFOreplication命令的lag值。

3.检测命令丢失

如果因为网络故障，主服务器传播给从服务器的写命令在半路丢失，那么当从服务器向主服务器发送REPLCONF ACK命令时，主服务器将发觉从服务器当前的复制偏移量少于自己的复制偏移量，然后主服务器就会根据从服务器提交的复制偏移量，在复制积压缓冲区里面找到从服务器缺少的数据，并将这些数据重新发送给从服务器。（补发）网络不断增量同步：网断了，再次连接时

如何判断全量复制还是部分复制

客户端发送saveof后主节点会判断是否第一次复制，如果是则进行全量复制，如果不是通过runid offset偏移量进行判断是否一致，如果一致则进行部分复制，否则进行全量复制。

redis进阶高可用之主从复制(代码片段)

主从复制概述主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)；数据的复制是单向的，只能由主节点到从节点。主从复制的作用主要包括：... 查看详情

nosql之redis主从复制哨兵和集群介绍及详细搭建步骤(代码片段)

Redis主从复制、哨兵和集群一、主从复制1.1主从复制的概念1.2主从复制的作用1.3主从复制的流程1.4部署Redis主从复制步骤1.5部署Redis主从复制的具体操作步骤（实操）二、哨兵模式2.1哨兵模式的原理2.2哨兵模式的作用2.3哨... 查看详情

大数据之redis：redis的主从复制(代码片段)

目录1、主从复制是什么？2、用处2、配从(服务器)不配主(服务器)3、inforeplication4、slaveof1、主从复制是什么？主从复制，就是主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主&#... 查看详情

小试牛刀redis集群部署之主从哨兵cluster(~^v^~)(代码片段)

一、主从复制1.1 主从复制概念主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)；数据的复制是单向的，只能由主节点到从节点。默认情况下&#... 查看详情

小试牛刀redis集群部署之主从哨兵cluster(~^v^~)(代码片段)

分布式丛林探险系列之redis主从复制模式

本文内容主从复制概述主从复制原理连接建立阶段数据同步阶段命令传播阶段主从复制实战本文小结如果说，单体架构系统是坐在家里悠闲地喝着下午茶，那么，毫无疑问，分布式系统将会是一场永远充满惊喜的丛林冒险。从踏... 查看详情

分布式丛林探险系列之redis主从复制模式

redis主从复制(代码片段)

文章目录一、Redis主从复制概述（1）主从复制概述（2）Redis主从的同步策略二、配置Redis的主从复制（1）实验环境（2）实验目的（3）实验步骤一、Redis主从复制概述（1）主从复制概... 查看详情

深入学习redis：主从复制(代码片段)

...xff08;重点是repl-timeout、client-output-buffer-limitslave）等。系列文章深入学习Redis（1）：Redis内存模型深入学习Redis（2）：持久化深入学习Redis（3）：主从复制深入学习Redis（4）& 查看详情

详解redis主从复制(代码片段)

文章首发于公众号“蘑菇睡不着”前言Redis的主从复制和MySQL差不多，主要起着数据备份，读写分离等作用。所以说主从复制对Redis来说非常重要，而无论是面试还是工作总，了解Redis主从复制底层实现有非常有必要，那么接下来... 查看详情

redis（主从复制哨兵模式集群）概述及部署(代码片段)

Redis（主从复制、哨兵模式、集群）概述及部署前言一、Redis主从复制1、Redis主从复制的概念2、Redis主从复制的作用3、Redis主从复制的流程4、Redis主从复制的搭建1、环境配置/安装包2、安装Redis（所有主机）3、修改... 查看详情

缓存加速------redis主从复制，哨兵模式，集群(代码片段)

目录前言一.Redis主从复制1.Redis主从复制概述2.Redis主从复制作用3.Redis主从复制流程4.搭建Redis主从复制①环境准备②安装Redis③修改Redis配置文件(Master节点操作)④修改Redis配置文件(Slave节点操作)⑤验证主从效果⑥在Master节点上验... 查看详情

缓存加速------redis主从复制，哨兵模式，集群(代码片段)

redis主从复制-哨兵-集群相关部署(代码片段)

Redis主从复制+哨兵+集群一.主从复制-哨兵-集群二.主从复制1.主从复制的作用2.主从复制流程3.部署Redis主从复制三.哨兵模式1.哨兵模式的原理2.哨兵模式的作用3.哨兵结构由两部分组成，哨兵节点和数据节点部署哨兵模式... 查看详情

spring之redis主从复制（非哨兵模式）

看了好几天redis了，公司从刚开始的redisluster变成了redis主从，原因是rediscluster不可控，其实是我水平没到，万一出点啥事，我这个负责人都解决不了，那就完了！大数据平台下，如果缓存崩了，所有操作提前全都干到数据库，很... 查看详情

redis主从复制哨兵集群模式(代码片段)

Redis主从复制、哨兵、集群模式单节点模式SpringBoot整合@Bean(name="singleClient")publicRedissonClientsingleRedissonClient()tryConfigconfig=newConfig();config.useSingleServer().setAddress("redis://& 查看详情

redis的主从复制哨兵模式以及群集模式（相关概念及实验详解）(代码片段)

redis主从复制和sentinel(代码片段)

主从复制数据副本扩展读性能一个master可以有多个slave一个slave只能有一个master数据流只能从mater流向slaveslaveof命令式复制：redis-8380>slaveof127.0.0.1:6379配置复制：slaveofipport#具体看版本slaveof/replicaofipportslave-read-onlyyes1、主从复制de... 查看详情