高并发下缓存失效问题及解决方案

songjilong songjilong     2022-12-10     327

关键词:

缓存穿透

介绍:当查询一个不存在的数据,此时缓存是不命中的,就会去查询 db,这将导致每次查询这个不存在的数据都要去访问 db,缓存就没有意义了。

如果不怀好意的人利用不存在的数据进行攻击,可能导致数据库崩溃

解决:

  • 查询到的不存在的数据也放入缓存,可以存为 null,并加入短暂的过期时间;但如果别人每次都请求一个不同的 key,会导致大量无用 key 存在 redis 中。
  • 在 redis 和 db 间加个过滤器(比如布隆过滤器),过滤不存在的 key

缓存雪崩

介绍:我们设置某个 key 时使用了相同的过期时间,导致缓存在同一时间失效,请求涌入 db,导致数据库压力过重雪崩。

解决:

  • 在原有的失效时间基础上加上一个随机值,比如 1~5 分钟,这样每一个缓存过期时间的重复率就会变低,就很难引起集体失效的事件。

缓存击穿

介绍:对于一些设置了过期时间的 key,如果这些 key 可能会在某些时间点被超高并发地访问,是一种非常“热点”的数据。如果这个 key 在大量请求同时进来前正好失效,那么所有对这个 key 的数据查询都落到 db,我们称为缓存击穿。

解决:

  • 加锁。大量并发只让一个去查,其他人等待,查到以后释放锁,其他人获取到锁,先查缓存,就会有数据,不用去db
  • 在 redis、db 中间做一个二级缓存

php和redis实现在高并发下的抢购及秒杀功能示例详解(代码片段)

...简单,但是有些问题需要解决,主要针对两个问题:一、高并发对数据库产生的压力二、竞争状态下如何解决库存的正确减少("超卖"问题)第一个问题,对于PHP来说很简单,用缓存技术就可以缓解数据库压力,比如memcache,redis... 查看详情

redis实现高并发下的抢购秒杀功能

...很常见的一个应用场景,主要需要解决的问题有两个:1高并发对数据库产生的压力2竞争状态下如何解决库存的正确减少("超卖"问题)对于第一个问题,已经很容易想到用缓存来处理抢购,避免直接操作数据库,例如使用Redis。... 查看详情

1.网站高并发下的测试指标及优化泛谈

网站高并发下的测试指标:1.并发量:可以承接多少次请求。2.服务器负载:服务器的cpu/内存消耗。3.平均响应时间:处理一次请求花费的时间。测试高并发时,一般的测试标准是在服务器负载为70%的时候可以处理多少次请求还... 查看详情

高并发下如何保证数据库和缓存双写一致性?(代码片段)

...性问题,是一个跟开发语言无关的公共问题。尤其在高并发的场景下,这个问题变得更加严重。我很负责的告诉你,该问题无论在面试,还是工作中遇到的概率非常大,所以非常有必要跟大家一起探讨一下。... 查看详情

高并发下的缓存一致性问题

数据读取的时候:先查缓存,缓存查不到查数据库,然后把查到的结果放到缓存中。这些都基本上没有争议。 但是数据更新的时候:到底是先更新数据库,还是再更新(or删除)缓存or先更新(or删除)缓存,再更新数据库。... 查看详情

高并发下的web异步处理方案(代码片段)

高并发下的web异步处理方案一、问题介绍​平时web开发时(使用的servlet或者基于servlet封装的SpringMVC框架),业务处理基本都是同步处理,即业务处理与web容器接收线程为同一线程,每一次Http请求都由一个线... 查看详情

【golang】高并发下tcp常见问题解决方案

...toomanyopenfiles。使用下指令查看最大句柄数量:增加句柄解决方案 查看详情

高并发下springcloud hystrix的严重问题?

】高并发下springcloudhystrix的严重问题?【英文标题】:seriousissueofspringcloudhystrixunderhighconcurrency?【发布时间】:2018-04-0523:55:24【问题描述】:第1部分我使用HystrixCommand进行服务,并使用jmeter进行高并发测试。测试结果太差了,看... 查看详情

高并发下接口幂等性解决方案

一、幂等性概念在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不... 查看详情

分布式事务,高并发下分布式事务的解决方案

我在上一期介绍了spring的事务原理(详情见《深入理解spring事务原理》),Spring事务本质是单机下的事务,是由数据库本身保证的。今天,我将介绍一种比较复杂的事务:分布式事务。1、什么是分布式事务分布式事务就是指事... 查看详情

高并发下接口的并发问题

...会员,限制每个帐号只能领取一个有恶意用户刷接口,在高并发下越过限制。原因领取会员流程:1.后端先生成卡卷,将卡号放到消息队列中2.用户扫码请求领取会员接口2-1).先检查用户是否已经领取过该活动会员2-2).领取过return... 查看详情

深入理解分布式事务,高并发下分布式事务的解决方案

这两天正在研究微服务架构中分布式事务的处理方案,做一个小小的总结,作为备忘.如有错误,欢迎指正!概念澄清事务补偿机制:在事务链中的任何一个正向事务操作,都必须存在一个完全符合回滚规则的可逆事务.CAP理论:CAP(Consistency... 查看详情

高并发下如何保证接口的幂等性?

前言接口幂等性问题,对于开发人员来说,是一个跟语言无关的公共问题。本文分享了一些解决这类问题非常实用的办法,绝大部分内容我在项目中实践过的,给有需要的小伙伴一个参考。不知道你有没有遇到过... 查看详情

高并发下如何保证接口的幂等性?

前言接口幂等性问题,对于开发人员来说,是一个跟语言无关的公共问题。本文分享了一些解决这类问题非常实用的办法,绝大部分内容我在项目中实践过的,给有需要的小伙伴一个参考。不知道你有没有遇到过... 查看详情

update高并发下变慢分析及semi-consistentread

...况下,这个update语句的执行时间很快,但是到了高并发情况下就很慢了。当然这个问题解决很简单,但是其背后还是有很多值得挖掘的地方,这里就从问题分析出发,顺带挖一下其涉及的部分。二、分析方式... 查看详情

redis持久化机制及缓存失效解决方案(代码片段)

Redis集群故障监测及哨兵机制原理解析Redis海量数据存储方案RedisCluster前言在之前的文章写过redis的实用功能,包括数据结构,主从复制结构,以及应对高并发海量数据场景下的分片rediscluster集群;本篇文章继续学... 查看详情

高并发下的static类成员可能存在安全隐患

有一个网友在高并发下使用下面的日期转换工具类时,遇到的问题publicclassDateUtil{privateDateUtil(){}privatestaticfinalDateFormatDATE_FORMAT=newSimpleDateFormat("yyyy-MM-ddHH:mm:ss");publicstaticDateparse(Stringdate)throwsParseExcept 查看详情

高并发下的系统设计(偏数据库设计)

高并发完毕数据库设计是要结合不同的应用场景的,本文主要涉及到一下问题:1、对数据库表的字段訪问比較均衡,业务导向明显(网上商城,多条业务线);2、对数据库表的字段訪问比較均衡,业务导向不明显(对单一应用... 查看详情