redis学习笔记25——缓存异常:如何解决缓存和数据库的数据不一致问题?

qq_34132502 qq_34132502     2022-12-05     599

关键词:

缓存和数据库的数据不一致是如何发生的?

一致性包含了两种情况:

  • 缓存中有数据,那么,缓存的数据值需要和数据库中的值相同;
  • 缓存中本身没有数据,那么,数据库中的值必须是最新值。

发生的原因也可以分成两类:

  • 在更新数据库或更新缓存的过程中,其中一个失败的情况
  • 高并发状态下,更新数据库或更新缓存这两个操作之间,有其他线程的并发读操作,导致其他线程读到旧值

1、更新数据库或Redis有一个失败

当缓存的读写模式不同时,缓存数据不一致的发生情况不一样,我们的应对方法也会有所不同,所以,我们先按照缓存读写模式,来分别了解下不同模式下的缓存不一致情况。

根据是否接收写请求,我们可以把缓存分成读写缓存和只读缓存。

对于读写缓存

对于读写缓存来说,如果要对数据进行增删改,就需要在缓存中进行,同时还要根据采取的写回策略,决定是否同步写回到数据库中。

  • 同步直写:写缓存时,也同步写数据库,缓存和数据库中的数据一致
  • 异步写回:写缓存时不同步写数据库,等到数据从缓存中淘汰时,再写回数据库。使用这种策略时,如果数据还没有写回数据库,缓存就发生了故障,那么,此时,数据库就没有最新的数据了。

对于读写缓存来说,要想保证缓存和数据库中的数据一致,就要采用同步直写策略。
不过需要注意,采用这种策略,就需要同时更新缓存和数据库,所以要在业务中使用事务机制来保证原子性。
当然如果对一致性要求不是很高,可以使用异步写回策略。

对于只读缓存

  • 如果有数据新增,会直接写入数据库,不会写入缓存;
  • 如果有数据删改,需要将删改数据库与删改Redis变为原子操作,否则会造成数据库与Redis数据不一致。

如果先删Redis,而删mysql失败,则读缓存时会触发缓存缺失,从而去读取mysql中的旧值;如果先删mysql,而在删除Redis时失败,则会直接读取到Redis中的旧值。

如何解决数据不一致问题?

重试机制

可以把要删除的缓存值或者是要更新的数据库值暂存到消息队列中。当应用没有能够成功地删除缓存值或者是更新数据库值时,可以从消息队列中重新读取这些值,然后再次进行删除或更新。

如果能够成功地删除或更新,我们就要把这些值从消息队列中去除,以免重复操作,此时,我们也可以保证数据库和缓存的数据一致了。否则的话,我们还需要再次进行重试。如果重试超过的一定次数,还是没有成功,我们就需要向业务层发送报错信息了。

2、多线程状态下其他线程读取到旧值

假设:

先删除缓存,再更新数据库。

如果线程A先删除缓存,再更新数据库,而线程B在A删除缓存后读取该数据,则会发生缓存缺失,之后去mysql读取到旧数据(会增加mysql的压力)。之后会到Redis中写入刚刚读取到的旧数据,导致其他线程可能读取到该旧数据。

解决方案

在线程 A 更新完数据库值以后,我们可以让它先 sleep 一小段时间,再进行一次缓存删除操作。

之所以要加上 sleep 的这段时间,就是为了让线程 B 能够先从数据库读取数据,再把缺失的数据写入缓存,然后,线程 A 再进行删除。所以,线程 A sleep 的时间,就需要大于线程 B 读取数据再写入缓存的时间。这个时间怎么确定呢?建议你在业务程序运行的时候,统计下线程读数据和写缓存的操作时间,以此为基础来进行估算。我们称为“延迟双删”。

先更新数据库值,再删除缓存值。

如果发生这种情况,则影响的线程较少,因为线程A肯定会很快删除旧值。因为不会发生缓存缺失,也不会增加mysql的压力

小结

  • 删除缓存值或更新数据库失败而导致数据不一致,你可以使用重试机制确保删除或更新操作成功。
  • 在删除缓存值、更新数据库的这两步操作中,有其他线程的并发读操作,导致其他线程读取到旧值,应对方案是延迟双删

redis学习笔记26——缓存异常:如何解决缓存雪崩击穿穿透问题?

缓存雪崩缓存雪崩是指大量的应用请求无法在Redis缓存中进行处理,紧接着,应用将大量请求发送到数据库层,导致数据库层的压力激增。缓存雪崩一般有两个原因导致:1、缓存中有大量数据同时过期解决方法... 查看详情

redis学习笔记26——缓存异常:如何解决缓存雪崩击穿穿透问题?

缓存雪崩缓存雪崩是指大量的应用请求无法在Redis缓存中进行处理,紧接着,应用将大量请求发送到数据库层,导致数据库层的压力激增。缓存雪崩一般有两个原因导致:1、缓存中有大量数据同时过期解决方法... 查看详情

redis学习笔记10:redis缓存穿透和雪崩

        Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那... 查看详情

redis学习笔记10:redis缓存穿透和雪崩

        Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那... 查看详情

尚硅谷redis学习笔记--redis应用问题解决(代码片段)

1.缓存穿透1.1问题描述key对应的数据在数据源并不存在,每次针对此key的请求从缓存获取不到,请求都会压到数据源,从而可能压垮数据源。比如用一个不存在的用户id获取用户信息,不论缓存还是数据库都没有&#x... 查看详情

redis学习笔记23——旁路缓存:redis是如何工作的?(代码片段)

计算机系统中,默认有两种缓存:CPU里面的末级缓存,即LLC,用来缓存内存中的数据,避免每次从内存中存取数据;内存中的高速页缓存,即pagecache,用来缓存磁盘中的数据,避免每次从磁盘中... 查看详情

redis学习笔记23——旁路缓存:redis是如何工作的?(代码片段)

计算机系统中,默认有两种缓存:CPU里面的末级缓存,即LLC,用来缓存内存中的数据,避免每次从内存中存取数据;内存中的高速页缓存,即pagecache,用来缓存磁盘中的数据,避免每次从磁盘中... 查看详情

redis缓存的主要异常及解决方案

...浩1导读Redis是当前最流行的NoSQL数据库。Redis主要用来做缓存使用,在提高数据查询效率、保护数据库等方面起到了关键性的作用,很大程度上提高系统的性能。当然在使用过程中,也会出现一些异常情景,导致Redis失去缓存作用... 查看详情

redis学习笔记24——替换策略:缓存满了怎么办(代码片段)

如果把所有的数据都放入缓存是否很好?并不,根据“八二原理”,80%的请求实际只访问了20%的数据,所以全部放入缓存的性价比很低。解决这个问题就涉及到缓存系统的一个重要机制,即缓存数据的淘汰机... 查看详情

redis学习笔记(代码片段)

学习内容:数据库发展史(单机MySql的演进),NoSql,Redis的概念数据库发展史,关系数据库和非关系数据库的关系和差别,Redis基本命令,基本数据类型,事务锁,集成Java(Jedis,SpringBoot自定义模板,封装util工具类等),持久化方式,发布订阅,... 查看详情

说说redis缓存穿透场景与相应的解决方法

Redis缓存主要缓存穿透、缓存击穿与缓存雪崩异常场景,今天我们来讲讲缓存穿透。1场景描述缓存穿透是指客户端请求一个缓存和数据库中都不存在的key。由于缓存中不存在,所以请求会透过缓存查询数据库;由于数据库中也不... 查看详情

redis学习笔记27——缓存被污染了怎么办(代码片段)

在一些场景下,有些数据被访问的次数非常少,甚至只会被访问一次。当这些数据服务完访问请求后,如果还继续留存在缓存中的话,就只会白白占用缓存空间。这种情况,就是缓存污染。我们应用Redis缓存时... 查看详情

redis总结

...久化机制是什么?RDB和AOF的优缺点如何选择如何解决缓存击穿、缓存穿透、雪崩问题?缓存击穿解决方案缓存穿透解决方案缓存雪崩解决方案:什么是RedisRedis(RemoteDictio 查看详情

[爬虫学习笔记]memorycache缓存的用法学习

...带的Cache之间,考虑到部署问题,最终选择了后者,之前在学习Web及开发的过程中用过System.Web.Caching.Cache这个类库,但是这次的爬虫程序我打算部署为桌面软件,所以选用了System.Runtime.Cach 查看详情

redis11_缓存和数据库一致性如何保证解决方案提供canel解决数据一致性问题

文章目录①.缓存和数据库双写一致保证②.缓存数据一致性-解决方案③.缓存数据一致性-解决-Canal①.缓存和数据库双写一致保证①.只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问... 查看详情

redis从入门到进阶第6讲:缓存雪崩击穿穿透场景与解决方案(代码片段)

...前言  本专栏开启,目的在于帮助大家更好的掌握学习Redis,同时也是为了记录我自己学习Redis的过程,将会从基础的数据类型开始记录,直到一些更多的应用,如缓存击穿还有分布式锁以及Redis持久化等。... 查看详情

redis缓存穿透缓存击穿缓存雪崩的原理和解决办法(代码片段)

Redis缓存穿透、缓存击穿、缓存雪崩的原理和解决办法1.前言2.缓存穿透的解决办法3.缓存击穿解决办法4.缓存雪崩的解决办法1.前言在大数据时代,由于网络请求的并发,导致的数据库I/O开销巨大,所以为了缓解数据库的压力,缓... 查看详情

redis缓存穿透缓存击穿缓存雪崩的原理和解决办法(代码片段)

Redis缓存穿透、缓存击穿、缓存雪崩的原理和解决办法1.前言2.缓存穿透的解决办法3.缓存击穿解决办法4.缓存雪崩的解决办法1.前言在大数据时代,由于网络请求的并发,导致的数据库I/O开销巨大,所以为了缓解数据库的压力,缓... 查看详情