关键词：
关于如何使用机器学习来做异常检测的7个问题
导读
异常检测的一些入门问题。
关于如何使用机器学习来做异常检测的7个问题
问问题是学习的好方法之一。但有时你不知道从哪里开始，或者该问什么 —— 尤其是在你还比较熟悉的异常检测之类的话题上。在这种情况下，最好倾听别人的问题，让他们的思路来指导你的学习。以下是我们在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”网络研讨会上收到的一些问题，可以帮助你入门。
离群点和异常值的区别是什么?
离群值是远离分布的位置或者平均值的观测值。然而，它们并不一定代表异常行为或由不同过程产生的行为。另一方面，异常是由不同的过程生成的数据模式。
异常检测在药品中有什么应用吗?
异常检测在药物生命科学领域有许多应用。包括在制药生产中使用统计过程控制(SPC)或质量控制(QC)和多元过程控制(MSPC)图表进行过程监控和质量控制。及时发现异常是避免异常事件发生，遵守安全标准的关键。发现柜台交易中的异常情况，可以用来打击医药零售数据中的处方滥用。实时检测多参数临床试验数据中的异常，有助于保证临床试验的成功。
GANs也用于异常检测吗?如果是的话，能否提供一个行业用例
生成对抗网络(GANs)是一种新的无监督学习方法，在识别异常方面非常有效。由于GANs是设计成迭代的，并且对抗性训练的目的是利用重构样本来优化减少残差损失，因此它们在半结构化和非结构化数据中工作得很好。它们在医学图像分析(帮助放射学家发现难以识别的肿瘤)、面部识别、文本图像转换等方面非常有用。
数据相关性会影响异常检测吗?我们可以用什么方法，怎样减少这些影响?是否最好在开始异常检测之前清除和删除关联数据?
正如在网络研讨会上提到的，我们不认为相关性会影响异常检测，但我们有许多可用的技术来帮助确定如何处理相关变量。一个建议是使用主成分分析(PCA)这样的技术来减少维数。
建议使用什么样的算法适合于检测与识别网络活动或数据中的不寻常活动有关的异常?
正如在网络研讨会上提到的，有许多方法和算法可以很好地用于异常检测的各种应用和用例。其中有递归神经网络(RNN)、生成对抗网络(GAN)、隔离森林、深度自编码器等。如果你对网络/图分析特别感兴趣，用来识别网络图异常的两种主要方法是直接邻居离群点检测算法(DNODA)和社区邻居算法(CNA)。
在我目前的工作中，“新颖性”是我们努力去发现的主要东西。质量控制图对于已知的模式很有效，但是自动识别新模式比较困难。我希望能得到一些在这方面有所帮助的工具的想法。
对于单变量质量控制图，西方的电气规则可以用于检测少数常见的模式。经典的多元方法，如偏最小二乘(PLS)，会捕获到涉及不止一个变量的模式，但不能被单变量方法检测。自动编码器是最全面的工具，将涵盖最广泛的不同模式。它可以捕获多变量、循环、非线性和交互的模式。你使用一组正常数据训练autoencoder，在训练集中没有出现的新数据中出现的任何模式都将被标记。
通过做PCA来减少维度会影响数据集中的异常吗?它会导致异常现象的消失吗?如果是这样，如何预防呢?
做PCA将会在原始数据集中捕获一些百分比的方差。因此，我们使用PCA进行异常检测的方法是计算原始点到低维空间中表示的点的“距离”。距离越大(即在将观测结果映射到低维空间时“丢失”的越多)，我们就越认为它是一种异常。
使用机器学习创建异常检测
】使用机器学习创建异常检测【英文标题】：Creatinganomalydetectionusingmachinelearning【发布时间】：2017-12-0916:02:00【问题描述】：弹性堆栈的新x-packML给我留下了深刻的印象。他们的技术似乎可以随着时间的推移学习数据模式，并且... 查看详情
异常检测（anomalydetection）
...高斯分布的概率公式为：当参数平均值和标准差变化时：关于平均值和方差的求解：在一个异常检测的例子中，有m个训练样本，每个样本的特征值数量有n个，那么某个样本的分布概率模型p(x)就可以用样本的每个特征值的概率分... 查看详情
如何评估无监督异常检测
】如何评估无监督异常检测【英文标题】：Howtoevaluateunsupervisedanomalydetection【发布时间】：2020-06-0205:15:40【问题描述】：我正在尝试通过使用机器学习预测连续值来解决回归问题。我有一个由6个浮点列组成的数据集。数据来自低... 查看详情
使用带有 CouchDB 和 Python 的机器学习来检测“异常行为”？
】使用带有CouchDB和Python的机器学习来检测“异常行为”？【英文标题】：Detecting\'unusualbehavior\'usingmachinelearningwithCouchDBandPython?【发布时间】：2013-11-1023:36:40【问题描述】：当用户访问我的PythonWeb服务时，我正在收集很多非常有... 查看详情
机器学习总结2-关于激活函数损失函数正则化异常检测算法总结
LSTM特性,CNN特性,损失函数,paper,项目...软件激活函数:->sigmod:硬饱和性,y(0,1),斜率趋于0;->tanh:软饱和性,y(-1,1),虽然输出均值为0，可以更快收敛,但斜率依然会趋于0;->relu:当x<0时,存在硬饱和,y(0,+),使用leak-relu,当x<0时,使斜率... 查看详情
万方+网络+机器学习
1.机器学习在网络入侵检测中的应用-2017络入侵检测方法分为异常检测和误用检测异常检测首先构建一个正常模型，不符合该模型的访问均被定义为人侵。相反误用检测根据不可接受的行为建立一个入侵模型，符合该模型的访问... 查看详情
关于使用机器学习工具 Weka 的问题
】关于使用机器学习工具Weka的问题【英文标题】：QuestionAboutUsingWeka,themachinelearningtool【发布时间】：2010-12-2021:07:06【问题描述】：我正在使用Weka的资源管理器功能进行分类。所以我有我的.arff文件，具有NUMERIC值的2个特征，我的... 查看详情
机器学习笔记（十三）-异常检测
本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。作者能力有限，如有错误等，... 查看详情
基于机器学习的边缘检测器
...时间】：2017-09-0401:48:51【问题描述】：我已阅读以下blog关于使用机器学习进行边缘检测的内容。他们使用了基于现代机器学习的算法。该算法在人类注释最重要边缘和对象边界的图像上进行训练。给定这个标记的数据集，训练... 查看详情
elastic：如何使用elastic机器学习来侦测异常
...Elastic的机器学习的结果对发挥它的重要性至关重要更多关于机器学习的文章，请参阅“Elastic：机器学习的原理及实践-singlemetricjob”。针对IT，机器学习到底意味着什么？针对IT来说，有许许多多的话题及使用... 查看详情
elastic：如何使用elastic机器学习来侦测异常
...Elastic的机器学习的结果对发挥它的重要性至关重要更多关于机器学习的文章，请参阅“Elastic：机器学习的原理及实践-singlemetricjob”。针对IT，机器学习到底意味着什么？针对IT来说，有许许多多的话题及使用... 查看详情
机器学习——一类分类/新奇检测/异常评估？
】机器学习——一类分类/新奇检测/异常评估？【英文标题】：MachineLearning-oneclassclassification/noveltydetection/anomalyassessment?【发布时间】：2016-10-1300:41:45【问题描述】：我需要一个满足以下要求的机器学习算法：训练数据是一组特... 查看详情
吴恩达-coursera-机器学习-week9
...与监督学习对比15.6选择特征15.7多元高斯分布（选修）15.8使用多元高斯分布进行异常检测（选修）十六、推荐系统(RecommenderSystems)16.1问题形式化16.2基于内容的推荐系统16.3协同过滤16.4协同过滤算法16.5向量化：低 查看详情
斯坦福机器学习视频笔记week9异常检测和高斯混合模型anomalydetection
...，在制造中，我们可能想要检测缺陷或异常。我们展示了如何使用高斯分布来建模数据集，以及如何将模型用于异常检测。我们还将涵盖推荐系统，这些系统由亚马逊，Netflix和苹果等公司用于向其用户推荐产品。推荐系统查看... 查看详情
一文读懂！异常检测全攻略！从统计方法到机器学习⛵
...eAI将系统覆盖“单变量”和“多变量”异常值场景、以及使用统计方法和机器学习异常检测技术来识别它们，包括四分位距和标准差方法、孤立森林、DBSCA 查看详情
elastic：如何使用elastic机器学习来侦测异常
这篇文章是上一篇文章“Elastic：如何使用Elastic机器学习来侦测异常（一）”的续篇。在这篇文章中，我将展示如何创建一个multi-metric的任务。我将使用另外一个Sampledataset。添加eCommerce数据集打开Kibana： 这样... 查看详情
elastic：如何使用elastic机器学习来侦测异常
这篇文章是上一篇文章“Elastic：如何使用Elastic机器学习来侦测异常（一）”的续篇。在这篇文章中，我将展示如何创建一个multi-metric的任务。我将使用另外一个Sampledataset。添加eCommerce数据集打开Kibana： 这样... 查看详情
异常检测：综述（基本都是无监督算法）时间序列算法：ar/ma/arma传统机器学习算法：孤独森林oneclasssvm深度学习算法：autoencoderlstmdeeplog
...评估选择最优组合。稳定序列（stationaryseries）：可直接使用机器学习算法(孤独森林，SVM等)和深度算法(DeepLog、Auto-Encoder等)。非稳定序列（non-stationar 查看详情