redis学习笔记26——缓存异常:如何解决缓存雪崩击穿穿透问题?

qq_34132502 qq_34132502     2022-12-06     382

关键词:

缓存雪崩

缓存雪崩是指大量的应用请求无法在 Redis 缓存中进行处理,紧接着,应用将大量请求发送到数据库层,导致数据库层的压力激增。

缓存雪崩一般有两个原因导致:

1、缓存中有大量数据同时过期

解决方法:

(1)增加较小的随机数

避免给大量相同的数据设置相近的过期时间,如果业务确实需要同时失效,可增加一个较小的随机数(1~3分钟)

(2)服务降级

发生缓存雪崩时,针对不同的数据采取不同的处理方式。如果对于非核心数据,则暂停从缓存中查询这些数据,直接返回与定义信息、空值或是错误信息;对于访问核心数据,则仍然允许查询,如果缓存缺失,也可以继续通过数据库读取

2、Redis实例宕机

Redis 缓存实例发生故障宕机了,无法处理请求,这就会导致大量请求一下子积压到数据库层,从而发生缓存雪崩。

解决方法:

(1)在业务系统中实现服务熔断或请求限流机制。

服务熔断:在发生缓存雪崩时,为了防止引发连锁的数据库雪崩,甚至是整个系统的崩溃,我们暂停业务应用对缓存系统的接口访问。就是业务应用调用缓存接口时,缓存客户端并不把请求发给 Redis 缓存实例,而是直接返回,等到 Redis 缓存实例重新恢复服务后,再允许应用请求发送到缓存系统。

服务熔断虽然可以保证数据库的正常运行,但是暂停了整个缓存系统的访问,对业务应用的影响范围大。为了尽可能减少这种影响,我们也可以进行请求限流。

请求限流,就是指,我们在业务系统的请求入口前端控制每秒进入系统的请求数,避免过多的请求被发送到数据库。比如本来Redis每秒可以处理一万个请求,现在Redis崩了,这一万个请求涌入mysql,但mysql每秒只会处理一千个,其他的会被直接拒绝服务。

(2)事前预防

通过主从节点的方式构建 Redis 缓存高可靠集群。如果 Redis 缓存的主节点故障宕机了,从节点还可以切换成为主节点,继续提供缓存服务,避免了由于缓存实例宕机而导致的缓存雪崩问题。

缓存击穿

如果说缓存雪崩是指大量数据无法在缓存中进行处理,而缓存击穿则是某个访问非常频繁的热点数据无法在缓存中进行处理。于是大量的请求一下子发送到了后端数据库,使其压力激增。比如在热点数据过期失效时。

所以,对于访问特别频繁的热点数据,我们就不设置过期时间了。

缓存穿透

缓存穿透是指要访问的数据既不在 Redis 缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库时,发现数据库中也没有要访问的数据。

有两种情况:

  • 业务层误操作:缓存中的数据和数据库中的数据被误删除了,所以缓存和数据库中都没有数据;
  • 恶意攻击:专门访问数据库中没有的数据。

应对方案:

1、缓存空值或缺省值

可以在 Redis 中缓存一个空值或是和业务层协商确定的缺省值(例如,库存的缺省值可以设为 0)。紧接着,应用发送的后续请求再进行查询时,就可以直接从 Redis 中读取空值或缺省值,返回给业务应用了,避免了把大量请求发送给数据库处理,保持了数据库的正常运行。

2、布隆过滤器

使用布隆过滤器快速判断数据是否存在,避免从数据库中查询数据是否存在,减轻数据库压力。

布隆过滤器是如何工作的

布隆过滤器由一个初值都为 0 的 bit 数组和 N 个哈希函数组成,可以用来快速判断某个数据是否存在。当我们想标记某个数据存在时(例如,数据已被写入数据库),布隆过滤器会通过三个操作完成标记:

  • 首先,使用 N 个哈希函数,分别计算这个数据的哈希值,得到 N 个哈希值。
  • 然后,我们把这 N 个哈希值对 bit 数组的长度取模,得到每个哈希值在数组中的对应位置。
  • 最后,我们把对应位置的 bit 位设置为 1,这就完成了在布隆过滤器中标记数据的操作。

如果数据不存在(例如,数据库里没有写入数据),我们也就没有用布隆过滤器标记过数据,那么,bit 数组对应 bit 位的值仍然为 0。

3、前端进行请求检测

缓存穿透的一个原因是有大量的恶意请求访问不存在的数据,所以,一个有效的应对方案是在请求入口前端,对业务系统接收到的请求进行合法性检测,把恶意的请求(例如请求参数不合理、请求参数是非法值、请求字段不存在)直接过滤掉,不让它们访问后端缓存和数据库。这样一来,也就不会出现缓存穿透问题了。

小结

尽量使用预防式方案

  • 针对缓存雪崩,合理地设置数据过期时间,以及搭建高可靠缓存集群;
  • 针对缓存击穿,在缓存访问非常频繁的热点数据时,不要设置过期时间;
  • 针对缓存穿透,提前在入口前端实现恶意请求检测,或者规范数据库的数据删除操作,避免误删除。

redis学习笔记25——缓存异常:如何解决缓存和数据库的数据不一致问题?

缓存和数据库的数据不一致是如何发生的?一致性包含了两种情况:缓存中有数据,那么,缓存的数据值需要和数据库中的值相同;缓存中本身没有数据,那么,数据库中的值必须是最新值。发生的原... 查看详情

redis学习笔记25——缓存异常:如何解决缓存和数据库的数据不一致问题?

缓存和数据库的数据不一致是如何发生的?一致性包含了两种情况:缓存中有数据,那么,缓存的数据值需要和数据库中的值相同;缓存中本身没有数据,那么,数据库中的值必须是最新值。发生的原... 查看详情

redis学习笔记10:redis缓存穿透和雪崩

        Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那... 查看详情

尚硅谷redis学习笔记--redis应用问题解决(代码片段)

1.缓存穿透1.1问题描述key对应的数据在数据源并不存在,每次针对此key的请求从缓存获取不到,请求都会压到数据源,从而可能压垮数据源。比如用一个不存在的用户id获取用户信息,不论缓存还是数据库都没有&#x... 查看详情

redis学习笔记23——旁路缓存:redis是如何工作的?(代码片段)

计算机系统中,默认有两种缓存:CPU里面的末级缓存,即LLC,用来缓存内存中的数据,避免每次从内存中存取数据;内存中的高速页缓存,即pagecache,用来缓存磁盘中的数据,避免每次从磁盘中... 查看详情

redis学习笔记23——旁路缓存:redis是如何工作的?(代码片段)

计算机系统中,默认有两种缓存:CPU里面的末级缓存,即LLC,用来缓存内存中的数据,避免每次从内存中存取数据;内存中的高速页缓存,即pagecache,用来缓存磁盘中的数据,避免每次从磁盘中... 查看详情

redis学习笔记10:redis缓存穿透和雪崩

        Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那... 查看详情

redis缓存的主要异常及解决方案

...浩1导读Redis是当前最流行的NoSQL数据库。Redis主要用来做缓存使用,在提高数据查询效率、保护数据库等方面起到了关键性的作用,很大程度上提高系统的性能。当然在使用过程中,也会出现一些异常情景,导致Redis失去缓存作用... 查看详情

redis学习笔记24——替换策略:缓存满了怎么办(代码片段)

如果把所有的数据都放入缓存是否很好?并不,根据“八二原理”,80%的请求实际只访问了20%的数据,所以全部放入缓存的性价比很低。解决这个问题就涉及到缓存系统的一个重要机制,即缓存数据的淘汰机... 查看详情

redis学习笔记27——缓存被污染了怎么办(代码片段)

在一些场景下,有些数据被访问的次数非常少,甚至只会被访问一次。当这些数据服务完访问请求后,如果还继续留存在缓存中的话,就只会白白占用缓存空间。这种情况,就是缓存污染。我们应用Redis缓存时... 查看详情

redis从入门到进阶第6讲:缓存雪崩击穿穿透场景与解决方案(代码片段)

...前言  本专栏开启,目的在于帮助大家更好的掌握学习Redis,同时也是为了记录我自己学习Redis的过程,将会从基础的数据类型开始记录,直到一些更多的应用,如缓存击穿还有分布式锁以及Redis持久化等。... 查看详情

学习笔记redis分布式缓存

在高并发情况下,服务器的访问压力主要有两部分,一是服务器的处理压力,二是数据库的读写压力。数据库的读写压力可以使用redis来缓解,对于热点数据可以拷贝一份到redis中,当查询数据库时,先去re... 查看详情

jni学习笔记--jni访问数组引用异常处理缓存策略

1.访问数组1.基本类型的数组packagecom.zeking.jni;publicclassJniTest03publicnativevoidgetArray(int[]intArray);staticSystem.loadLibrary("JniTest03");publicstaticvoidmain(String[]args)JniTest03jniTest03= 查看详情

分布式问题

推荐学习材料:中华石杉公众号和B站视频;高并发、高可用设计 分布式ID:1)生成方式有几种,优缺点对比;UUID/snowFlake/   分布式缓存:1)缓存架构?2)Redis,AOP、cluster方案3)真正支撑高并发及高可用的复杂... 查看详情

个人笔记-实战开发redis缓存使用

 缓存穿透:redis跟数据库都不存在,比如拿一个不存在的用户id请求,请求就会打到db上。         解决方式:生成一个有效时间的占位数据来代替。 缓存击穿:redis不存在,数据库存在,一般是r... 查看详情

redis学习笔记(代码片段)

学习内容:数据库发展史(单机MySql的演进),NoSql,Redis的概念数据库发展史,关系数据库和非关系数据库的关系和差别,Redis基本命令,基本数据类型,事务锁,集成Java(Jedis,SpringBoot自定义模板,封装util工具类等),持久化方式,发布订阅,... 查看详情

说说redis缓存穿透场景与相应的解决方法

Redis缓存主要缓存穿透、缓存击穿与缓存雪崩异常场景,今天我们来讲讲缓存穿透。1场景描述缓存穿透是指客户端请求一个缓存和数据库中都不存在的key。由于缓存中不存在,所以请求会透过缓存查询数据库;由于数据库中也不... 查看详情

[爬虫学习笔记]memorycache缓存的用法学习

...带的Cache之间,考虑到部署问题,最终选择了后者,之前在学习Web及开发的过程中用过System.Web.Caching.Cache这个类库,但是这次的爬虫程序我打算部署为桌面软件,所以选用了System.Runtime.Cach 查看详情