大数据ddos检测——ddos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用hmm或者crf来做检测是必然!和一个句子的分词算法crf没有区别!

将者,智、信、仁、勇、严也。 将者,智、信、仁、勇、严也。     2022-09-05     455

关键词:

DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然!——和一个句子的分词算法CRF没有区别!
注:传统DDos检测直接基于IP数据发送流量来识别,通过硬件防火墙搞定。大数据方案是针对慢速DDos攻击来搞定。
难点:在进行攻击的时候,攻击数据包都是经过伪装的,在源IP 地址上也是进行伪造的,这样就很难对攻击进行地址的确定,在查找方面也是很难的。这样就导致了分布式拒绝服务攻击在检验方法上是很难做到的。领域知识见:http://blog.csdn.net/eric_sunah/article/details/72782224
还有汇总的:http://cleanbugs.com/item/ddos-attack-learning-414049.html

论文:http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=3960 可以下载,提到了TCP flood,UDP flood,ICMP flood实验

 

摘自:http://wap.cnki.net/lunwen-1013353778.html
基于谱分析与统计机器学习的DDoS攻击检测技术研究
陈世文

  结合国家863项目“高可信网络业务管控系统”和“面向三网融合的统一安全管控网络”的研究需求,按照“分布式检测、层级化拦阻和集中态势感知”的总体思路,本文对DDoS攻击检测技术展开专门研究,从宏观攻击流感知与微观检测方法两个角度,提出了基于IP流序列谱分析的泛洪攻击与低速率拒绝服务(Low-rate Denial of Service, LDoS)攻击感知方法,在感知到攻击的基础上,将DDoS攻击检测转化为机器学习的二分类问题,利用隐马尔科夫模型、孪生支持向量机和条件随机场三种机器学习模型,实现概率点检测、分类超平面检测以及融合多特征处理优势的条件随机场检测方法。 针对宏观感知问题,提出了基于快速分数阶Fourier变换估计Hurst旨数的泛洪DDoS攻击感知方法,利用DDoS攻击对网络流量自相似性的影响,通过监测Hurst指数变化阈值判断是否存在DDoS攻击,相比于小波分析等方法,该方法计算复杂度低,Hurst旨数估计精度高;对于隐蔽性较强的低速率拒绝服务LDoS攻击,提出了基于巴特利特功率谱估计的感知方法,相比于矩形窗和三角窗方法,巴特利特功率谱估计一致性好,对低速率拒绝服务LDoS攻击检测率高。 针对微观的具体攻击特征检测问题,提出了基于隐马尔科夫模型、基于孪生支持向量机和基于条件随机场等三种统计机器学习方法的攻击检测策略。 首先,从概率点判别角度,提出了一种基于多特征并行隐马尔科夫模型(Multi-Feature Parallel Hidden Markov Model, MFP-HMM)的DDoS攻击检测方法。该方法利用HMM隐状态序列与特征观测序列的对应关系,将攻击引起的多维特征异常变化转化为离散型随机变量,通过概率计算来刻画当前滑动窗口序列与正常行为轮廓的偏离程度。MFP-HMM模型架构采用多维特征并行处理模式,有利于扩展新的特征模块。特征序列通过滑动窗口后形成观测序列送入HMM,可通过硬件实现多级流水加速,为可重构设计与分布式部署提供条件。实验结果表明,基于MFP-HMM的方法优于标准HMM等机器学习方法,检测准确率高,虚警率低。 其次,从分类超平面判别角度,提出了基于最小二乘孪生支持向量机(Least Square Twin Support Vector Machine, LSTSVM)的DDoS攻击分类超平面检测方法,该方法借助最优化方法来解决机器学习问题,利用支持向量机模型较好的非线性处理能力与泛化能力,采用IP包五元组熵、IP标识、TCP头标志和包速率等作为LSTSVM模型的多维检测特征向量,以体现DDoS攻击存在的流分布特性。基于DARPA2000数据集和TFN2K攻击采集数据集下的实验表明,该方法优于标准支持向量机(Support Vector Machine, SVM)等机器学习方法,对于正常突发流量与DDoS攻击流量检测准确率较高、虚警率较低。 最后,提出了一种融合多种判别规则的条件随机场DDoS攻击检测方法。该方法不要求各个特征量必须满足独立同分布的假设条件,在充分利用条件随机场综合处理多特征优势的基础上,将基于特征匹配与异常检测的方法有效地统一起来,实现高检测率与低误报率。DARPA2000数据集实验表明,基于条件随机场的方法优于传统SVM等方法,准确率高于99.5%,虚警率FPR低于0.6%,并且抗背景噪声能力强,鲁棒性好。……
[关键词]:DDoS攻击;自相似性;分数阶傅氏变换;Bartlett谱估计;隐马尔科夫模型;孪生支持向量机;条件随机场

摘自:http://cdmd.cnki.com.cn/Article/CDMD-90002-2007140546.htm
基于机器学习的分布式拒绝服务攻击检测方法研究
孙永强
【摘要】: 近年来,分布式拒绝服务(Distributed Denial of Service: DDoS)攻击的检测与防御技术成为信息安全领域的研究热点之一。DDoS攻击具有的分布式特性,使得该类攻击比传统的拒绝服务攻击(Denial of Service: DoS)拥有更多的攻击资源,具有更强大的破坏力,而且更难以防范。目前,由于现有入侵检测技术的局限性,DDoS攻击已经对Internet安全运行构成了极大的威胁,使得对新一代DDoS检测与防御技术研究的需求更为迫切。 本文在详细分析了DDoS的原理及其检测防御技术的国内外研究现状的基础上,针对现有检测方法存在的问题,结合机器学习的相关理论进展,研究了基于机器学习的DDoS攻击检测方法,重点开展了基于隐马尔可夫模型(Hidden Markov Model: HMM)的新的DDoS检测模型与基于自适应学习的分布式协同检测机制的研究。主要研究工作和创新点包括: 1、结合HMM的相关理论,提出了基于HMM与源IP地址监控的DDoS攻击检测方法。该方法采用网络数据流中的源IP地址信息进行网络流量状态的特征表示。首先根据正常数据流进行常用源IP地址库的学习;然后利用隐马尔可夫模型进行网络数据流动态IP地址序列的统计建模。通过正常流量的IP地址序列进行HMM模型学习,来对未知的网络流量进行基于动态源IP地址序列的实时异常检测,同时常用源IP地址库也保持在线学习更新。 2、针对DDoS分布式检测中存在的问题,提出了一种基于自适应学习的分布式协同检测方法。在分布式协同检测框架下,采用数据融合的方法进行检测,同时结合一种基于回报的自适应学习算法,在保证检测精度的条件下,降低系统中各检测结点之间的通讯量,提高系统运行效率。 3、设计并实现了基于机器学习的DDoS检测实验原型系统,包括基于HMM的单点检测模块和基于自适应学习的分布式协同检测机制。在局域网环境下,结合上述实验原型系统对DDoS攻击进行了模拟和检测,验证了本文提出方法的可行性和有效性。 本文的研究内容是国家自然科学基金“基于增强学习的自适应入侵检测方法研究”的重要组成部分。与其它的检测方法相比,本文提出方法具有检测准确性高、实时性强、便于响应、易于部署等特点,具有比较好的应用前景。
【关键词】:分布式拒绝服务攻击 机器学习 隐马尔可夫模型 入侵检测

 

常规的流量型ddos攻击都有哪些防护措施?

...意组织发起DDos攻击时,率先感知并起作用的一般为本地数据中心内的DDos防护设备,金融机构本地防护设备较多采用旁路镜像部署方式。本地DDos防护设备一般分为DDos检测设备、清洗设备和管理中心。首先,DDos检测设备日常通过... 查看详情

流量攻击是啥?遇到攻击怎么办?

流量攻击由于DDoS攻击往往采取合法的数据请求技术,再加上傀儡机器,造成DDoS攻击成为目前最难防御的网络攻击之一。据美国最新的安全损失调查报告,DDoS攻击所造成的经济损失已经跃居第一。传统的网络设备和周边安全技术... 查看详情

云图说丨ddos防护解决方案:ddos大流量攻击防得住

...区《【云图说】第255期DDoS防护解决方案:DDoS大流量攻击防得住》,作者:阅识风云。近年来,DDoS攻击频率、强度逐年倍增,尤其是游戏、金融、电商等高竞争行业,涉及民生的 查看详情

ddos攻击与防范策略

...起的方式,DDoS可以简单分为三类。第一类以力取胜海量数据包从互联网的各个角落蜂拥而来,堵塞IDC入口,让各种强大的硬件防御系统、快速高效的应急流程无用武之地。这种类型的攻击典型代表是ICMPFlood和UDPFlo 查看详情

modsecurity规则学习——ddos攻击检测(代码片段)

1、IP访问频率SecActionphase:1,nolog,pass,setvar:IP.counter=+1SecRuleIP:UPDATE_RATE"@gt10""phase:1,block,msg:‘RequestratetoohighforIPaddress:%IP.UPDATE_RATE‘"  优化下,去掉静态资源的#Onlyincrementthecounterifthe#req 查看详情

618techtalk丨大促活动如何抵御大流量ddos攻击?

...言都是一次严峻考验。如果在活动期间遭受黑产恶意DDoS攻击,无疑是雪上加霜。电商的特性是业务常态下通常不会遭受大流量DDoS攻击,且对延迟敏感,因此只需要在活动期间按需使用DDoS防护。本篇文章由专业的安全团队为你分... 查看详情

《2021年全球ddos威胁报告》:tb级攻击时代已逾五年,大流量攻击次数创历年之最

...#xff08;以下简称《报告》),基于对2021年监测到的数据情况进行统计分析,全面盘点了2021年全球DDoS攻击发展态势。《报告》指出,DDoS攻击峰值及大流量攻击发生的次数持续增长,攻击手法和行业分布呈现多元... 查看详情

谁遭到过ddos攻击怎么才能有效预防ddos/cc攻击

关键词:遭到ddos攻击有效预防DDOS/CC攻击  简介:随着网络攻击的简单化,如今ddos攻击已经不止出现在大型网站中,就连很多中小型网站甚至是个人网站往往都可能面临着被DDoS攻击的的风险。或许很多站长对DDoS攻击并不... 查看详情

,流量攻击有多少种方式?

DDoS攻击分为两种:要么大数据,大流量来压垮网络设备和服务器,要么有意制造大量无法完成的不完全请求来快速耗尽服务器资源。有效防止DDoS攻击的关键困难是无法将攻击包从合法包中区分出来:IDS进行的典型“签名”模式... 查看详情

怎么防御ddos攻击

...而达到拒绝服务的目的。 DDOS攻击应对策略这里天下数据分享一些在一定程度范围内,能够应对缓解DDOS攻击的策略方法,以供大家借鉴。一、确保服务器系统安全1、确保服务器的系统文件是最新的版本,并及时更新系统补丁... 查看详情

linux里面cc攻击和ddos攻击区别是啥?

...少线程就是多少用户)不停的进行访问(访问那些需要大量数据操作,就是需要大量CPU时间的页面).这一点用一个一般的性能测试软件就可以做到大量模拟用户并发。CC攻击的原理就是攻击者控制某些主机不停地发大量数据包给对方... 查看详情

技术分享|常见的ddos攻击类型及防御措施

据权威数据显示,2021年上半年,全球发生DDoS攻击约540万次,同比增长11%,据估计,2021年整年DDoS攻击次数将创纪录地达到1100万次。其中超百G的大流量攻击次数在上半年就达到了2544次,同比增长50%以上ÿ... 查看详情

kali下xerxes脚本实现ddos攻击

参考技术A参考视频:https://www.youtube.com/watch?v=rEpSmCWTQcY1、http://www.isitdownrightnow.com/检测网站是否down掉了。把要检测网址粘入即可。示例脚本xerxes.c: 查看详情

如何找个海外高防服务器,防御ddos攻击呢?

如今大数据时代,DDOS攻击让很多站长头疼,找不到一台好的高防服务器也成了站长心目中的心病。那么,哪里有好的高防服务器呢?哪里有能防御DDOS的海外高防服务器呢?什么是DDOs攻击呢?DDoS攻击是利用一批受控制的机器向一台... 查看详情

客户端遭受大流量的ddos攻击了怎么办?

Anti防御(根据攻击情况推荐防御套餐)Anti防御是针对客户端在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置Anti防御,将攻击流量引流到Anti防御节点上,确保源站的稳定可靠。把域... 查看详情

乐视遭受200g的ddos攻击有多大威力?

...微发布公告称:7月19日,乐视视频遭受高强度的DDOS流量攻击,流量峰值高达200Gbps/s。攻击发生后,乐视公司启动最高级应急预案,经过紧急抢修后恢复正常访问。650)this.width=650;"src="http://s1.51cto.com/wyfs02/M00/87/4A/wKioL1fbjWqBjozzAAEghaTa... 查看详情

ddos有啥危害

...源是DDoS攻击的主要手段,如果发现网络带宽被大量无用数据所占据,正常请求难以被处理,那么网站可能出现被DDoS攻击的可能。②服务器CPU被大量占用:DDoS攻击利用肉鸡或攻击软件对目标服务器发送大量无效请求,导致服务器... 查看详情

什么是ddos攻击?如何防范ddos攻击?

...位技术很难对这种攻击实现追踪。4.隐蔽性很多DDoS攻击的数据包源地址和目标地址都是合法的,这种攻击包没有明显特点,很难被防御系统识别࿰ 查看详情