异常检测:综述(基本都是无监督算法)时间序列算法:ar/ma/arma传统机器学习算法:孤独森林oneclasssvm深度学习算法:autoencoderlstmdeeplog

u013250861 u013250861     2023-04-02     352

关键词:

一、什么是异常值?

在机器学习中,异常检测和处理是一个比较小的分支,或者说,是机器学习的一个副产物,因为在一般的预测问题中,模型通常是对整体样本数据结构的一种表达方式,这种表达方式通常抓住的是整体样本一般性的性质,而那些在这些性质上表现完全与整体样本不一致的点,我们就称其为异常点,通常异常点在预测问题中是不受开发者欢迎的,因为预测问题通产关注的是整体样本的性质,而异常点的生成机制与整体样本完全不一致,如果算法对异常点敏感,那么生成的模型并不能对整体样本有一个较好的表达,从而预测也会不准确。

从另一方面来说,异常点在某些场景下反而令分析者感到极大兴趣,如疾病预测,通常健康人的身体指标在某些维度上是相似,如果一个人的身体指标出现了异常,那么他的身体情况在某些方面肯定发生了改变,当然这种改变并不一定是由疾病引起(通常被称为噪音点),但异常的发生和检测是疾病预测一个重要起始点。相似的场景也可以应用到信用欺诈,网络攻击等等。

二、异常检测算法的选择策略

对时间序列数据异常检测的算法选择策略:算法的选择不是随意的,也不是漫无目的地试错获得的。而是通过对业务和数据了解后,初选多个候选算法,然后通过训练和评估选择最优组合。

  • 稳定序列(stationary series):可直接使用机器学习算法(孤独森林,SVM等)和深度算法(DeepLog、Auto-Encoder等)。
  • 非稳定序列(non-stationary series):可直接使用时间序列模型(AR/MA/ARMA/ARIMA/Holt winters等࿰

《异常检测——从经典算法到深度学习》20hotspot:多维特征additivekpi的异常定位

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测14对于流数据基于RRCF的异常检测15通过无监督和主动学习进行实用的白盒异常检测16基于VAE和LOF的无监督KPI异常检测算法17基于VAE-LSTM混合模型的时... 查看详情

《异常检测——从经典算法到深度学习》19omnianomaly:基于随机循环网络的多元时间序列鲁棒异常检测

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测14对于流数据基于RRCF的异常检测15通过无监督和主动学习进行实用的白盒异常检测16基于VAE和LOF的无监督KPI异常检测算法17基于VAE-LSTM混合模型的时... 查看详情

《异常检测——从经典算法到深度学习》19omnianomaly:基于随机循环网络的多元时间序列鲁棒异常检测

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测14对于流数据基于RRCF的异常检测15通过无监督和主动学习进行实用的白盒异常检测16基于VAE和LOF的无监督KPI异常检测算法17基于VAE-LSTM混合模型的时... 查看详情

史上最全综述|3d目标检测算法汇总!(单目/双目/lidar/多模态/时序/半弱自监督)

史上最全综述|3D目标检测算法汇总!(单目/双目/LiDAR/多模态/时序/半弱自监督)2022-09-0209:06计算机视觉life”,选择“星标”快速获得最新干货本文转载自自动驾驶之心1摘要近年来,自动驾驶因其减轻驾驶员... 查看详情

史上最全综述|3d目标检测算法汇总!(单目/双目/lidar/多模态/时序/半弱自监督)

史上最全综述|3D目标检测算法汇总!(单目/双目/LiDAR/多模态/时序/半弱自监督)2022-09-0209:06计算机视觉life”,选择“星标”快速获得最新干货本文转载自自动驾驶之心1摘要近年来,自动驾驶因其减轻驾驶员... 查看详情

异常检测——从经典算法到深度学习》14对于流数据基于rrcf的异常检测

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测14对于流数据基于RRCF的异常检测相关:VAE模型基本原理简单介绍GAN数学原理简单介绍以及代码实践14.对于流数据基于RRCF的异常检测2016Robustrand... 查看详情

异常检测——从经典算法到深度学习》14对于流数据基于rrcf的异常检测

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测14对于流数据基于RRCF的异常检测相关:VAE模型基本原理简单介绍GAN数学原理简单介绍以及代码实践14.对于流数据基于RRCF的异常检测2016Robustrand... 查看详情

《异常检测——从经典算法到深度学习》15通过无监督和主动学习进行实用的白盒异常检测(代码片段)

《异常检测——从经典算法到深度学习》0概论1基于隔离森林的异常检测算法2基于LOF的异常检测算法3基于One-ClassSVM的异常检测算法4基于高斯概率密度异常检测算法5Opprentice——异常检测经典算法最终篇6基于重构概率的VAE异常检... 查看详情

《异常检测——从经典算法到深度学习》13mad:基于gans的时间序列数据多元异常检测(代码片段)

...复杂KPI基于VAE对抗训练的非监督异常检测13MAD:基于GANs的时间序列数据多元异常检测相关:VAE模型基本原理简单介绍GAN数学原理简单介绍以及代码实践重要说明感谢小伙伴的提醒,从这一篇开始为了突出重点,将翻译... 查看详情

异常检测综述

...ites/cs.umn.edu/files/tech_reports/07-017.pdf摘要这篇文章对常见的异常检测算法进行了分类,在每一类中,给出了这一类问题的基本假设(什么是正常,什么是异常),针对该类问题的基础方法,以及对基础方法的扩展。最后给出了关于... 查看详情

《异常检测——从经典算法到深度学习》13mad:基于gans的时间序列数据多元异常检测(代码片段)

《异常检测——从经典算法到深度学习》0概论1基于隔离森林的异常检测算法2基于LOF的异常检测算法3基于One-ClassSVM的异常检测算法4基于高斯概率密度异常检测算法5Opprentice——异常检测经典算法最终篇6基于重构概率的VAE异常检... 查看详情

《异常检测——从经典算法到深度学习》19omnianomaly:基于随机循环网络的多元时间序列鲁棒异常检测

《异常检测——从经典算法到深度学习》0概论1基于隔离森林的异常检测算法2基于LOF的异常检测算法3基于One-ClassSVM的异常检测算法4基于高斯概率密度异常检测算法5Opprentice——异常检测经典算法最终篇6基于重构概率的VAE异常检... 查看详情

聚类算法

...时候作为监督学习中稀疏特征的预处理。有时候可以作为异常值检测(反欺诈中有用)。应用场景:新闻聚类、用户购买模式(交叉销售)、图像与基因技术相似度与距离:这个概念是聚类算法中必须明白的,简单来说就是聚类... 查看详情

时间序列异常检测结合数据异常检测(代码片段)

...016的寄存器。你能指点我一些算法,链接,什么可以学习时间序列中的模式,可以某种方式与以前的方法结合?我不是要求一个超级具体的解决方案,而是提供一些可能有助于我克服这个问题的方法的建议。答案要在时间序列上... 查看详情

用于无监督异常检测的 Python AUC 计算(隔离森林、椭圆包络,...)

】用于无监督异常检测的PythonAUC计算(隔离森林、椭圆包络,...)【英文标题】:PythonAUCCalculationforUnsupervisedAnomalyDetection(IsolationForest,EllipticEnvelope,...)【发布时间】:2018-05-2502:50:16【问题描述】:我目前正在研究异常检测算法。... 查看详情

无监督算法

...sigma矩阵,然后进行奇异值分解,求的压缩和的结果Z 异常检测算法:1、选择可能适应于异常样本的特征2、根据样本得到高斯分布的均值和方差3、对给定的样本计算其是否为异常样本  异常检测与监督学习:异常检测... 查看详情

异常检测概览——孤立森林和局部异常因子算法效果是最好的

转自博客:http://www.infosec-wiki.com/?p=140760一、关于异常检测异常检测(outlierdetection)在以下场景:数据预处理病毒木马检测工业制造产品检测网络流量检测等,有着重要的作用。由于在以上场景中,异常的数据量都是很少的一部... 查看详情

《异常检测——从经典算法到深度学习》17基于vae-lstm混合模型的时间异常检测(代码片段)

《异常检测——从经典算法到深度学习》0概论1基于隔离森林的异常检测算法2基于LOF的异常检测算法3基于One-ClassSVM的异常检测算法4基于高斯概率密度异常检测算法5Opprentice——异常检测经典算法最终篇6基于重构概率的VAE异常检... 查看详情