java项目如何实现限流?(代码片段)

Java3y Java3y     2022-12-15     186

关键词:

我是3y,一年CRUD经验用十年的markdown程序员👨🏻‍💻常年被誉为职业八股文选手

今天继续来更新austin项目的内容,主要讲讲限流这块

01、为什么austin项目需要限流

众所周知,服务器能处理的请求数是有限的,如果请求量特别大,我们就可能需要做限流。

限流处理的姿势:要么就让请求等待,要么就把请求给扔了

从系统架构来看,我们的统一处理入口austin-api接入层上,austin-api接入层做完简单的参数校验以及参数拼接后,就将请求转发到消息队列上了

按正常来说,因为接了消息队列且接入层没有什么耗时的操作,那对外的接口压力不大的。

没错的,austin要接入限流也并不是在austin-api接入层上做,是在austin-handler消息处理下发层。austin-handler消息处理下发层我们是用线程池去隔离不同的消息渠道不同的消息类型

在系统本身上其实没有性能相关的问题,但我们下发的渠道可能就需要我们去控制调用的速率

腾讯云短信默认限制3000次/秒调用下发接口

钉钉渠道对应用消息和群机器人消息都有接口调用的限制

在保证下发速度的前提下,为了让业务方所下发的消息其用户能正常接收到和下游渠道的稳定性,我们需要给某些渠道进行限流

于是在这个背景下,我目前定义了两种限流策略:

1、按照请求数限流

2、按照下发用户数限流

02、如何实现限流?

想要实现限流,摆在我们面前有两个选择:

1、单机限流

2、分布式限流

咋一看,线上不可能只部署一台机器去发送整个公司的消息推送的,我们的系统应用在线上环境绝对是集群部署的,那肯定就需要上分布式限流了,对吧?

但实际上分布式限流实现并不简单,目前分布式限流的方案一般借助两个中间件

1、Redis

2、Sentinel

我们可能会用Redis的setnx/incrby+expire命令(从而实现计数器、令牌桶限流)/zset数据结构(从而实现滑动窗口限流)

Redis实现的限流想要比较准确,无论是哪种方式,都要依靠lua脚本

而Sentinel支持单机限流和分布式限流,Sentinel分布式限流需要部署Token服务器

对于分布式限流而言,不管用哪一种方案,使用的成本和技术挑战都是比较大的。

如果用单机限流的话,那就简单得多了,省事直接用Guava包下的RateLimiter就完了。缺点就在于:它只能控制单机的限流,如果发生了服务器扩容和缩容,它是感知不到的

有的人就给出了方案:那我用Zookeeper监听服务器的数量不就好了吗。理论上确实是这样的:每台机器限流值=限流总值/服务器数量

不过这又要去依赖Zookeeper,Zookeeper集群本身也有一堆状态相关的问题。

我是怎么实现的?单机限流一把梭

03、代码设计

从上面的描述可以看到,austin的限流我是要做在具体渠道上的,根据现有的代码设计我要的就是在各个的Handler上写上限流的代码。

我本身就设计了BaseHandler抽象类作为模板方法设计模式,此次限流的设计我的是:

1、将flowControl定义为abstract抽象方法,子类渠道去实现限流的代码

2、子类在初始化的时候定义限流参数,BaseHandler父类根据限流参数统一实现限流的逻辑

我选择了第二种方式,主要是我认为对于各个渠道而言,只是限流值是不同的,限流的逻辑应该都是一样的,没必要在每个子类上实现类似的逻辑。

而限流的逻辑就比较简单了,主要就使用RateLimit提供的易用API实现

没错,限流值的大小我是配置在apollo分布式配置中心的。假设以后真的要扩缩容了,那到时候提前把分布式配置中心的值给改掉,也能解决一部分的问题。

04、总结

扯了半天,原来就用了Guava包的RateLimit实现了单机限流,就这么简单,只是把限流值配置在分布式配置中心上而已。

很多时候,设计简单的代码可能实现并不完美,并不智能,并不优雅,但它付出的代价往往是最小的。

虽说如此,如果大家想要了解Redis+lua实现的同学可以fetch下austin最新的代码,就我写文章这段时间里,已经有老哥提了pull requestRedis+lua实现了滑动窗口去重的功能了,本质上是一样的

austin消息推送平台项目源码Gitee链接:gitee.com/austin

austin消息推送平台项目源码GitHub链接:github.com/austin

java基于redis实现分布式应用限流(代码片段)

查看详情

中小型项目请求限流设计(代码片段)

...响应时间变慢,从而提高系统的可用性和稳定性。中小型项目请求限流的需求按IP、用户、全局限流基于不同实现的限流设计(基于Redis或者LRU缓存)基于注解标注哪些接口限流完整限流设计实现在开源项目中:https://github.com/vala... 查看详情

使用redis+lua脚本实现分布式限流(代码片段)

一、功能介绍该项目(enhance-boot-limiting)主要是基于Redis+lua实现了分布式限流功能项目中提供两种分布式限流算法(一种是滑动时间窗口算法、一种是令牌桶算法)项目中提供了方便使用的注解形式来直接对接... 查看详情

常见的几种限流算法代码实现(java)(代码片段)

最近在学习Sentinel组件需要了解限流算法相关的知识,正好在微信公众号上看到了一篇不错的文章,在此记录一下以下是原文链接。年轻人,来手撸几种常见的限流算法!限流算法接口publicinterfaceRateLimiter/***判断... 查看详情

常见的几种限流算法代码实现(java)(代码片段)

最近在学习Sentinel组件需要了解限流算法相关的知识,正好在微信公众号上看到了一篇不错的文章,在此记录一下以下是原文链接。年轻人,来手撸几种常见的限流算法!限流算法接口publicinterfaceRateLimiter/***判断... 查看详情

springboot中如何编写一个优雅的限流组件?(代码片段)

...实现吧!第一步,创建通用模块cloud-limiter-starter首先在父项目下创建一个模块然后在pom文件中引入相关依赖<dependencies><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId></dependency><!--Spring... 查看详情

限流实现与解决方案(代码片段)

...限流(SmoothBursty)、平滑预热限流(SmoothWarmingUp)实现<!--Java项目广泛依赖的核心库--><dependency>< 查看详情

使用redis+lua脚本实现分布式限流(代码片段)

...wenpan/basis-enhance/tree/master/enhance-boot-limiting一、功能介绍该项目(enhance-boot-limiting)主要是基于Redis+lua实现了分布式限流功能项目中提供两种分布式限流算法(一种是滑动时间窗口算法、一种是令牌 查看详情

springcloudalibabasentinel实现熔断与限流(代码片段)

...baSentinel实现熔断与限流一、Sentinel介绍与安装二、微服务项目整合Sentinel三、流控规则3.1阈值类型:QPS3.2阈值类型:线程数3.3流控模式:直接3.4流控模式:关联3.5流控模式:链路3.6流控效果:快速失败3.7流... 查看详情

springboot接口-如何实现接口限流之单实例(代码片段)

...死、崩溃的情况,所以就有了降级和限流。在接口层如何做限流呢?本文主要回顾限流的知识点,并实践单实例限流的一种思路。SpringBoot接口-如何实现接口限流之单实例准备知识点为什么要限流限流有哪些常见思路&... 查看详情

springboot如何进行限流?老鸟们还可以这样玩!(代码片段)

大家好,我是飘渺。在之前一篇文章中我们详细介绍了为什么需要对接口进行限流,也介绍了常见的限流算法,最后还基于Guava工具类实现了接口限流。但是这种方式有个问题,无法实现分布式限流。那今天我们... 查看详情

springboot如何进行限流?老鸟们还可以这样玩!(代码片段)

大家好,我是飘渺。在之前一篇文章中我们详细介绍了为什么需要对接口进行限流,也介绍了常见的限流算法,最后还基于Guava工具类实现了接口限流。但是这种方式有个问题,无法实现分布式限流。那今天我们... 查看详情

一个轻量级的基于ratelimiter的分布式限流实现(代码片段)

...但对于一些小型应用来说未免过重,但限流的需求在小型项目中也是存在的,比如获取手机验证码的控制,对资源消耗较大操作的访问频率控制等 查看详情

springboot如何进行限流,老鸟们还可以这样玩!(代码片段)

大家好,我是飘渺。在SpringBoot如何进行限流,老鸟们都这么玩的!一文中我们详细介绍了为什么需要对接口进行限流,也介绍了常见的限流算法,最后还基于Guava工具类实现了接口限流。但是这种方式有个问题,无法实现分布式... 查看详情

(十七)atp应用测试平台——redis实现api接口访问限流(固定窗口限流算法)(代码片段)

...数情况下应该有这样一段场景。面试官:说说平常在项目中,你是如何使用redis的?我:我们就很简单啦,比如前后端分离token的存储、短信验证码的存储,权限列表的存储,一些热点数据的存储。再高... 查看详情

springboot如何进行限流?封装aop注解实现吧(代码片段)

首先说说,为什么现在要Api接口限流呢?在互联网时代,高并发、大数据量访问已经成为常态,怎样避免系统资源被耗尽,防止并发过高,在资源内存是你硬件瓶颈的时候,该通过一定限制访问来控制... 查看详情

springboot如何进行限流?封装aop注解实现吧(代码片段)

首先说说,为什么现在要Api接口限流呢?在互联网时代,高并发、大数据量访问已经成为常态,怎样避免系统资源被耗尽,防止并发过高,在资源内存是你硬件瓶颈的时候,该通过一定限制访问来控制... 查看详情

guavaratelimiter限流器使用示例(代码片段)

...teLimiter可以限制单进程中某个方法的速率,本文主要介绍如何使用,实现原理请参考文档:推荐:超详细的GuavaRateLimiter限流原理解析和推荐:RateLimiter源码分析(Guava和Sentinel实现)。1基于spring-mvc的controller测试限流完整代码可参考... 查看详情