正文 

当前位置： 首页 > 代码 > java教程

redis-分布式缓存

author author     2023-03-15     419

关键词：

  • 一、单机Redis的问题
  • 二、Redis分片集群
    1、Redis分片集群的优势 2、搭建Redis分片集群 3、散列插槽 4、集群伸缩 5、故障转移/数据迁移 6、RedisTemplate访问分片集群


一、单机Redis的问题

1、数据丢失问题

实现Redis数据持久化；

2、并发能力问题

搭建主从集群，实现读写分离；

3、故障恢复问题

利用哨兵机制，实现健康检测和自动恢复；

4、存储能力问题

搭建分片集群，利用插槽机制实现动态扩容。


二、Redis分片集群

1、Redis分片集群的优势

  • ① 自动分割数据到不同的节点上；
  • ② 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

可以解决：

  • ① 海量数据存储问题；
  • ② 高并发写的问题。

2、搭建Redis分片集群

  • ① 准备目录及配置文件

Ⅰ 新创建出7001、7002、7003、8001、8002、8003目录：


# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

Ⅱ 准备一个新的redis.conf文件(记得修改为自己本地的IP)：


port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.253.128
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

Ⅲ 将文件放入每个目录：


# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

Ⅳ 修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：


# 修改配置文件
printf %s\\n 7001 7002 7003 8001 8002 8003 | xargs -I -t sed -i s/6379//g /redis.conf
  • ② 启动各个实例

Ⅰ 直接启动服务：


# 一键启动所有服务
printf %s\\n 7001 7002 7003 8001 8002 8003 | xargs -I -t redis-server /redis.conf

Ⅱ 查看实例状态：
ps： （英文全拼：process status）命令用于显示当前进程的状态，语法​​ps [options] [--help]​​； 查找指定进程：ps -ef | grep 进程关键字；


ps -ef | grep redis

【Redis-分布式缓存（三）】_Redis


Ⅲ 关闭所有进程：


printf %s\\n 7001 7002 7003 8001 8002 8003 | xargs -I -t redis-cli -p  shutdown
  • ③ 创建分片集群

Ⅰ ​​redis-cli --cluster​​​或者​​./redis-trib.rb​​​：代表集群操作命令；
Ⅱ ​​​create​​​：代表是创建集群；
Ⅲ ​​​--replicas 1​​​或者​​--cluster-replicas 1​​​ ：指定集群中每个master的副本个数为1，此时​​节点总数 ÷ (replicas + 1)​​ 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master


redis-cli --cluster create --cluster-replicas 1 192.168.253.128:7001 192.168.253.128:7002 192.168.253.128:7003 192.168.253.128:8001 192.168.253.128:8002 192.168.253.128:8003

【Redis-分布式缓存（三）】_Redis_02

【Redis-分布式缓存（三）】_redis_03


查看分片集群状态：


redis-cli -p 7001 cluster nodes

【Redis-分布式缓存（三）】_redis_04


  • ④ 测试

Ⅰ 以单节点形式连接客户端，命令​​redis-cli -p 7001​​：


[root@localhost tmp]# redis-cli -p 7001
127.0.0.1:7001> set num 123
OK
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
(error) MOVED 15495 192.168.253.128:7003

Ⅱ 以分片集群形式连接客户端，命令​​redis-cli -c -p 7001​​：


[root@localhost tmp]# redis-cli -c -p 7001
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK

3、散列插槽

  • ① 散列插槽分布

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上：
slots:[0-5460] (5461 slots)
slots:[5461-10922] (5462 slots)
slots:[10923-16383] (5461 slots)


M: 063cb797912b1a8f6c86f8994defcc850b1b2144 192.168.253.128:7001
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 3fdc9e0fc5599b10b1886f8fa8046faa6e14d8ee 192.168.253.128:7002
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 7b8f5aa31d510f3127c89907084196fb01fc02c4 192.168.253.128:7003
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
  • ② 插槽规则

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：
Ⅰ key中包含""，且“”中至少包含1个字符，“”中的部分是有效部分；
Ⅱ key中不包含“”，整个key都是有效部分。


192.168.253.128:7001> set numa 789
OK
192.168.253.128:7001> set num 456
OK
192.168.253.128:7001> set a 123
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK
192.168.253.128:7003> set anum 456
OK

可以看到numa和num被插入同一个插槽，a和anum又被插到另一个相同插槽。

4、集群伸缩

  • ① 查看集群操作命令


redis-cli --cluster help
  • ② 增删节点操作


add-node       new_host:new_port existing_host:existing_port
                 --cluster-slave
                 --cluster-master-id <arg>

  del-node       host:port node_id


# 创建7004目录
mkdir 7004
# 拷贝配置文件
cp redis.conf 7004
# 修改配置文件
sed -i s/6379/7004/g 7004/redis.conf
# 启动7004
redis-server 7004/redis.conf
# 查看redis状态
ps -ef | grep redis

# 添加7004到集群
redis-cli --cluster add-node 192.168.253.128:7004 192.168.253.128:7001
# 查看集群状态
redis-cli -p 7001 cluster nodes
  • ③ 分配插槽


reshard        host:port
                 --cluster-from <arg>
                 --cluster-to <arg>
                 --cluster-slots <arg>
                 --cluster-yes
                 --cluster-timeout <arg>
                 --cluster-pipeline <arg>
                 --cluster-replace
  • ④ 测试

Ⅰ 添加7004节点，并且分配3000个槽位：


# 连接至集群中的7001节点
redis-cli --cluster reshard 192.168.253.128:7001
# 分配3000个槽位
3000
# 接受槽位的7004节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7001节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes

Ⅱ 删除7004节点：
移除7004节点上的槽位，将数据拷贝至7001节点：


# 连接至集群中的7004节点
redis-cli --cluster reshard 192.168.253.128:7004
# 分配3000个槽位
3000
# 接受槽位的7001节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7004节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes

从分片集群中移除7004节点：


[root@localhost tmp]# redis-cli --cluster del-node 192.168.253.128:7004 3b86fb982c1a04142735a9923818e7716897ad81
>>> Removing node 3b86fb982c1a04142735a9923818e7716897ad81 from cluster 192.168.253.128:7004
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

【Redis-分布式缓存（三）】_插槽_05


5、故障转移/数据迁移

  • ① 自动故障转移

【Redis-分布式缓存（三）】_Redis_06


  • ② 手动数据迁移

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。

指令：​​CLUSTER FAILOVER [FORCE|TAKEOVER]​​ Ⅰ 缺省：默认的流程，如图1~6歩；
Ⅱ FORCE：省略了对offset的一致性校验，如图2~3步；
Ⅲ TAKEOVER：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见。

【Redis-分布式缓存（三）】_redis_07


6、RedisTemplate访问分片集群

  • ① 修改原有配置


spring:
  redis:
    cluster:
      nodes:
        - 192.168.253.128:7001
        - 192.168.253.128:7002
        - 192.168.253.128:7003
        - 192.168.253.128:8001
        - 192.168.253.128:8002
        - 192.168.253.128:8003
#    sentinel:
#      master: mymaster
#      nodes:
#        - 192.168.253.128:27001
#        - 192.168.253.128:27002
#        - 192.168.253.128:27003
  • ② 测试
    写：8001master节点
    读：7002slave节点

【Redis-分布式缓存（三）】_Redis_08


三、结尾

以上即为Redis分布式缓存的全部内容了


redis缓存雪崩缓存穿透缓存击穿

...存雪崩解决方案永不过期合理的设置过期时间使用Redis的分布式锁缓存穿透解决方案过滤非法查询缓存空对象布隆过滤器布隆过滤器的新增布隆过滤器的查询布隆过滤器的删除布隆过滤器解决缓存穿透布隆过滤器的特点缓存击穿... 查看详情

分布式缓存技术redis学习——redis简介以及linux上的安装

...）的一种，NoSQL是以Key-Value的形式存储数据。当前主流的分布式缓存技术有redis,memcached,ssdb,mongodb等。既可以把redis理解为理解为缓存技术，因为它的数据都是缓存在内从中的；也可以理解为数据库，因为redis可以周期性的将数据... 查看详情

springboot集成redis分布式锁以及redis缓存

https://blog.csdn.net/qq_26525215/article/details/79182687集成Redis首先在pom.xml中加入需要的redis依赖和缓存依赖<!--引入redis依赖--><dependency><groupId>org.springframework.boot</groupId><artifact 查看详情

redis——缓存穿透缓存击穿缓存雪崩分布式锁(代码片段)

...存雪崩3.1什么是缓存雪崩？3.2缓存雪崩的解决方案4.分布式锁4.1使用setnx+del实现分布式锁的添加与释放4.2分布式锁优化之设置锁的过期时间4.3分布式锁优化之UUID防误删4.4分布式锁优化 查看详情

redis——缓存穿透缓存击穿缓存雪崩分布式锁(代码片段)

...存雪崩3.1什么是缓存雪崩？3.2缓存雪崩的解决方案4.分布式锁4.1使用setnx+del实现分布式锁的添加与释放4.2分布式锁优化之设置锁的过期时间4.3分布式锁优化之UUID防误删4.4分布式锁优化 查看详情

分布式缓存产品redis和memcached比较区别（图）

查看详情

redis分布式缓存学习篇二之基础篇

目录​​一、 查看详情

redis分布式缓存知识拓展2--处理其他缓存问题

一、数据不一致1、问题描述七大缓存经典问题的第四个问题是数据不一致。同一份数据，可能会同时存在DB和缓存之中。那就有可能发生，DB和缓存的数据不一致。如果缓存有多个副本，多个缓存副本里的数据也可能... 查看详情

分布式缓存技术redis学习系列——redis高级应用（集群搭建集群分区原理集群操作）

本文是redis学习系列的第四篇，前面我们学习了redis的数据结构和一些高级特性，点击下面链接可回看《详细讲解redis数据结构（内存模型）以及常用命令》《redis高级应用（主从、事务与锁、持久化）》本文我们继续学习redis的... 查看详情

springboot整合redis以及缓存穿透缓存雪崩缓存击穿的理解如何添加锁解决缓存击穿问题？分布式情况下如何添加分布式锁(代码片段)

...;存在问题）代码二（问题解决）6、新问题7、分布式锁1、步骤前提条件：已经安装了Redis1、pom中引入依赖2、配置文件中配置3、项目中使用2、具体过程1、引入pom依赖版本由父工程管理<!--引入redis--><dependency... 查看详情

redis分布式缓存知识拓展1--处理缓存失效穿透和雪崩问题

对缓存设计中的7大经典问题，如下图，进行问题描述、原因分析，并给出日常研发中，可能会出现该问题的业务场景，最后给出这些经典问题的解决方案。首先学习缓存失效、缓存穿透与缓存雪崩。一、缓存... 查看详情

2021-09-04理论修炼之redis，分布式缓存的中流砥柱

查看详情

2021-09-04理论修炼之redis，分布式缓存的中流砥柱

查看详情

缓存击穿、穿透、雪崩及redis分布式锁

参考技术A分布式锁:setnx,redisson并发问题幂等问题:落表状态,Redis缓存击穿:指缓存中无,db中有原因:一个key高并发恰好失效导致大量请求到db方案:加锁,自旋锁,或一个线程查db,一个线程监控(直接用Redisson分布式锁)缓存穿透:指缓存和d... 查看详情

分布式缓存总结

...制原理哨兵机制原理高可用架构实现集群方式cluster实现分布式锁读写分离防止redis雪崩和击穿哨兵模式与数据丢失问题redis缓存与数据库同步问题解决方案  分布式架构缓存：   应用缓存： 缓存命中率 ... 查看详情

学习笔记redis分布式缓存

在高并发情况下，服务器的访问压力主要有两部分，一是服务器的处理压力，二是数据库的读写压力。数据库的读写压力可以使用redis来缓解，对于热点数据可以拷贝一份到redis中，当查询数据库时，先去re... 查看详情

springboot整合shiro集成redis缓存

简介：由于考虑到项目后期分布式部署，所以缓存由ehcache改为redis，而redis既有单机版部署，也有分布式部署，所以二者需要兼容。1.maven依赖<dependency><groupId>org.crazycake</groupId><artifactId>shiro-redis</artifactId><... 查看详情

redis有哪些应用场景？

...大，但是对于一般的消息队列功能基本可以满足。比如在分布式爬虫系统中，使用redis来统一管理url队列。分布式锁：在分布式服务中。可以利用Redis的setnx功能来编写分布式的锁，虽然这个可能不是太常用。当然还有诸如排行榜... 查看详情