基于边缘云的机器流量管理技术实战

阿里云EdgePlus 阿里云EdgePlus     2022-12-06     228

关键词:

企业边缘应用面临的挑战

CDN是通过在全球范围内分布式地部署边缘服务器将各类互联网内容缓存到靠近用户的边缘服务器上,从而降低用户访问时延并大幅减少穿越互联网核心网的流量。互联网业务使用CDN已经成为一种必然的选择。传统网站防护基本上都是保护源站,客户购买防火墙、WAF等产品就可以保护自己核心业务的内容不被恶意窃取。但传统防护方式并不能完全满足业务流量通过CDN分发的场景:

  1. 部署位置在源站前,主要为了保护源站。在CDN架构中,页面基本都缓存在CDN上,爬虫可以直接从CDN上直接爬走用户敏感业务数据。

  2. 识别手段主要依靠在用户页面中嵌入JS,这种方式本质上修改了用户的页面,有很强的侵入性,并且只能适配web业务,针对api业务不生效。

  3. 处置手段一般通过频次控制,对高频的IP等特征进行限制,这种方式容易被绕过,现在爬虫基本都会采用IP代理池的方式,随机修改请求的header字端,这样很难找到特征进行频次控制。

CDN当前承接了主站大量业务,也必然要保证业务浏览和交易体验,防止内容不被恶意窃取。越来越多的业务数据缓存在CDN的边缘服务器上,边缘安全的权重越来越高。而基于边缘云的机器流量管理应运而生,应对CDN边缘安全隐患,实现用户应用数据安全保护。

边缘云的机器流量管理的实现及优势

基于CDN边缘节点的机器流量管理分析及处理流程如下图所示:

互联网访问一般分为用户正常,商业搜索引擎访问,恶意爬虫访问等,机器流量管理通过在边缘提取请求报文特征,基于报文特征识别请求类型,在边缘阻断恶意爬虫访问,保护CDN上缓存资源不被恶意爬取。

机器流量管理的优势如下:

  1. 基于CDN边缘网络架构实现机器流量管理能力,通过请求报文特征识别域名的请求类型,区分是正常的请求还是恶意的机器请求,帮助用户管理自己的请求,阻断恶意请求。

  2. 通过识别域名的请求类型,实时标记出请求的报文类型,非常直观的展示出当前的业务请求中的报文类型,客户可以直观的感知到自己的网站的访问类型分布情况,针对异常的报文类型进行处置。

  1. 通过处置报文类型而不是处置IP,只要恶意请求的报文类型不变,攻击者随机头部字段或者使用秒拨代理IP池都无法绕过。

机器流量管理实际结果验证

在双11业务场景,机器流量管理针对访问主站详情页的全部流量做识别,并对 Bot 流量进行细化分类。核心策略是放行搜索引擎等正规商业爬虫,限制或拦截恶意爬虫。

通过分析详情页的流量以及请求的行为特征,分析出近40%的请求都是恶意访问。在双11前,通过开启了处置策略,成功帮助主站某业务拦截了超过70%的爬虫流量。下图为开启处置前后的流量对比情况,蓝线为未开启处置策略是的流量趋势,绿线为开启处置策略后的流量趋势,拦截效果非常明显,并且不影响实际业务运行。

双11当日,基本上请求的访问特征没有变化,最终拦截数亿次恶意请求、上百万恶意IP及数千万恶意爬取商品ID。

CDN机器流量管理承担更多主站业务的防护,并且发现部分爬取主站内容的请求可以透过防护策略,即爬取的请求行为发生了变化。通过对线上突增qps分析,定位出变异爬虫主要使用的是IE的浏览器引擎,源IP大量使用秒拨代理IP,具有明显的商业爬虫特征。经上报,快速形成了应急预案,快速对异常类型进行处置。

PS:如想了解更多关于阿里云边缘云的业务,可钉钉搜索加群35469210

基于边缘云的机器流量管理技术实战

简介:CDN是通过在全球范围内分布式地部署边缘服务器将各类互联网内容缓存到靠近用户的边缘服务器上,从而降低用户访问时延并大幅减少穿越互联网核心网的流量。互联网业务使用CDN已经成为一种必然的选择。企业... 查看详情

基于边缘云的机器流量管理技术实战

简介:CDN是通过在全球范围内分布式地部署边缘服务器将各类互联网内容缓存到靠近用户的边缘服务器上,从而降低用户访问时延并大幅减少穿越互联网核心网的流量。互联网业务使用CDN已经成为一种必然的选择。企业... 查看详情

基于机器学习的边缘检测器

】基于机器学习的边缘检测器【英文标题】:Machinelearning-basededgedetector【发布时间】:2017-09-0401:48:51【问题描述】:我已阅读以下blog关于使用机器学习进行边缘检测的内容。他们使用了基于现代机器学习的算法。该算法在人类... 查看详情

阿里云的“终端云化”实践,基于ens进行边缘架构构建

终端无休止的更新迭代,是软件对计算资源的需求激增。作者|王广芳  编辑|IMMENSE终端云化:打破硬件的桎梏近几年,“终端云化”技术开始规模化落地,其核心思想是“计算卸载”,即将智能终... 查看详情

秒懂边缘云|边缘云技术进阶

简介:“秒懂边缘云”第二期来了,9月15日下午4点不见不散!9月8号,阿里云边缘云高级产品专家鸠舍老师带领大家揭开边缘云的神秘面纱,通过简单易懂的方式了解边缘云的发展趋势,熟悉边缘云的形态... 查看详情

秒懂边缘云|边缘云技术进阶

9月8号,阿里云边缘云高级产品专家鸠舍老师带领大家揭开边缘云的神秘面纱,通过简单易懂的方式了解边缘云的发展趋势,熟悉边缘云的形态和特性,掌握边缘云的产品及技术架构,并通过场景化带入方式体... 查看详情

秒懂边缘云|边缘云技术进阶

9月8号,阿里云边缘云高级产品专家鸠舍老师带领大家揭开边缘云的神秘面纱,通过简单易懂的方式了解边缘云的发展趋势,熟悉边缘云的形态和特性,掌握边缘云的产品及技术架构,并通过场景化带入方式体... 查看详情

基于百度云的ai接口调用

基于百度云的AI接口调用人工智能(ArtificialIntelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。  人工智能是计算机科学的一个分支,它企图了解... 查看详情

科技云报道:从百度智能云的探索,看懂边缘云的过去和未来

...键技术之一。为了让边缘计算更好地服务各行各业,基于边缘节点和云原生能力的边缘云服务应运而生。从市场的角度观察,边缘云自2020年前后爆发以来,俨然已成为数字经济下一个10年的风口之一。IDC《中国边缘云... 查看详情

阿里云的“终端云化”实践,基于ens进行边缘架构构建

终端无休止的更新迭代,是软件对计算资源的需求激增。作者|王广芳  编辑|IMMENSE终端云化:打破硬件的桎梏近几年,“终端云化”技术开始规模化落地,其核心思想是“计算卸载”,即将智能终... 查看详情

阿里云边缘计算及边缘云的技术演进场景实践与学术探索

...了全新要求。随着终端算力上移、云端算力下沉,在边缘形成算力融合,边缘计算逐渐深入多种应用场景,成为不可或缺的网络基础设施与支撑数字经济高质量发展的重要驱动力量。在2022中国数字服务大会【边缘服... 查看详情

机器学习模型高性能高并发部署实践探索

...管理参考高并发模型推理服务的优化方向K8s弹性伸缩原理基于模型管理的一站式机器学习建模平台参考参考文献高并发服务简介高并发意味着大流量,需要运用技术手段抵抗流量的冲击,这些手段好比操作流量,能让流量更平稳... 查看详情

机器学习模型高性能高并发部署实践探索

...管理参考高并发模型推理服务的优化方向K8s弹性伸缩原理基于模型管理的一站式机器学习建模平台参考参考文献高并发服务简介高并发意味着大流量,需要运用技术手段抵抗流量的冲击,这些手段好比操作流量,能让流量更平稳... 查看详情

kubernetes从中心走向边缘

...强一致且集中式存储架构,属于中心云计算的大成产品,基于大规模的池化资源的编排调度实现业务持续服务。2.Master管控节点与Worker工作节点通过List-Watch机制,实现状态任务实时同步,但是流量流量较大,Worker工作节点完全依... 查看详情

为什么选用边缘计算技术管理工业机器人?有什么意义?

...针对工业机器人的高效管理和运维监测,就可以借助边缘计算工业网关,实时采集不同品牌、不同形态、不同功能/工序的工业机器人运行数据、状态,并提供数据处理、分析、转发等能力,帮助企业实时掌握工业... 查看详情

毕设题目:matlab图像边缘检测

...实现原理并对比验证了不同算法的优缺点,分析了近年来基于深度学习的主要检测方法中的关键技术,并对边缘检测技术的发展方向进行了展望。2现成案例(代码+参考文献)1【边缘检测】基于matlab蚁群算法图像边缘检... 查看详情

kubernetes跨集群流量调度实战:访问控制(代码片段)

背景众所周知,Flomesh的服务网格产品osm-edge是基于SMI(ServiceMeshInterface,服务网格接口)标准的实现。SMI定义了流量标识、访问控制、遥测和管理的规范。在上一篇中,我们体验过了多集群服务(Multi-ClusterService,MCS),以及流... 查看详情

秒懂边缘云|边缘云技术进阶

9月8号,阿里云边缘云高级产品专家鸠舍老师带领大家揭开边缘云的神秘面纱,通过简单易懂的方式了解边缘云的发展趋势,熟悉边缘云的形态和特性,掌握边缘云的产品及技术架构,并通过场景化带入方式体... 查看详情