关键词：

分类与预测

分类主要是预测分类标号（离散属性），预测是建立连续值函数模型，预测给定自变量的因变量的值。

常用的分类与预测算法

算法名称	算法简介
回归分析	回归分析是确定预测属性（数值型）与其他变量间相互依赖的定量关系最常用的统计学方法。 包括线性回归，非线性回归，Logistic回归，岭回归，主成分回归，偏最小二乘回归等模型
决策树	决策树采用自顶向下的递归方式，在内部节点进行属性值的比较，并根据不同的属性值从该节点向下分支，最终得到的叶节点是学习划分的类
人工神经网络	人工神经网络是一种模仿大脑神经网络结构和功能而建立的信息处理系统，表示神经网络的输入与输出变量之间关系的模型
贝叶斯网络	贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一
	支持向量机是一种通过某种非线性映射，把低维的非线性可分转化为高维的线性可分，在高维空间进行线性分析的算法

回归分析

回归模型名称	适用条件	算法描述
线性回归	因变量与自变量是线性关系	对一个或多个自变量和因变量之间的线性关系进行建模，可用最小二乘法求解模型参数
非线性回归	因变量与自变量之间不是线性关系	对一个或多个自变量和因变量之间的非线性关系进行建模。如果非线性关系可以通过简单的函数变换转化成线性关系，用线性回归的思想求解；如果不能转化，用非线性最小二乘方法求解
Logistics回归	因变量一般有1和0（是否）两种取值	是广义线性回归模型的特例，利用Logistic函数将因变量的取值范围控制在0和1之间，表示取值为1的概率
岭回归	参与建模的自变量之间具有多重共线性	是一种改进最小二乘估计的方法
主成分回归	参与建模的自变量之间具有多重共线性	主成分回归是根据主成分分析的思想提出来的，是对最小二乘的一种改进，它是参数估计的一种有偏估计。可以消除自变量之间的多重共线性

递归特征消除的主要思想是反复的构建模型（如SVM或者回归模型）然后选出最好的（或者最差的）的特征，把选出来的特征放到一边，然后在剩余的特征上重复这个过程，直到遍历所有特征。

稳定性选择时一种基于二次抽样和选择算法相结合较新的方法，选择算法可以是回归、SVM或其他类似的方法。它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断重复，最终汇总特征选择结果。

决策树

决策树是一种树状结构，每一个叶节点对应着一个分类，非叶节点对应着某个属性上的划分，根据样本在属性上的不同取值将其划分成若干个子集。

决策树算法	算法描述
ID3算法	其核心是在决策树的各级节点上，使用信息增益方法作为属性的选择标准，来帮助确定生成每个节点时所采用的合适属性
C4.5算法	C4.5决策树生成算法相对于ID3算法的重要改进是使用信息增益率来选择节点属性。C4.5算法可以克服ID3算法存在的不足：ID3算法只适用于离散的描述属性，而C4.5算法既能处理离散的描述属性，也可以处理连续的描述属性
CART算法	CART决策树是一种十分有效的非参数分类和回归方法，通过构建树，修剪树，评估树来构构建一个二叉树。当终结点是连续变量时，该树为回归树；当终结点是分类变量，该树为分类树

由于ID3决策树采用了信心增益作为选择测试属性的标准，会偏向于选择取值较多的，即所谓高度分支属性，而这类属性并不一定是最优的属性。

人工神经网络

使用人工神经网络模型需要确定网络连接的拓扑结构、神经元的特征和学习规则等。目前已经有40种人工神经网络模型，常用的用来实现分类和预测的人工神经网络算法如下：

算法名称	算法描述
BP神经网络	是一种按误差逆传播算法训练的多层前馈网络，学习算法是误差矫正学习算法，是目前应用最广泛的神经网络模型之一
	是基于梯度下降法和牛顿法结合的多层前馈网络，特点：迭代次数少，收敛速度快，精确度高
RBF径向基神经网络	RBF网络能够以任意精度逼近任意连续函数，从输入层到隐含层的变换是非线性的，而从隐含层到输出层的变换是线性的，特别适合与解决分类问题
FNN模糊神经网络	FNN模糊神经网络是具有模糊权系数或者输入信号是模糊量的神经网络，是模糊系统与神经网络相结合的产物，它汇聚了神经网络与模糊系统的优点，集联想、识别、自适应及模糊信息处理于一体
GMDH神经网络	GMDH网络也称为多项式网络，它是前馈网络中常用的一种用于预测的神经网络。它的特点是网络结构不固定，而且在训练过程中不断改变
ANFIS自适应神经网络	神经网络镶嵌在一个全部模糊的结构之中，在不知不觉中想训练数据学习，自动产生、修正并高度概括出最佳的输入与输出变量的隶属函数以及模糊规则；另外，神经网络的各层结构与参数也都具有了明确的、易于理解的物理意义

分类与预测算法评价

绝对误差与相对误差

设Y是实际值，(hatY)表示预测值，则称E为绝对误差。
[ E=Y-hatY ]
e为相对误差，计算公式如下
[ e=fracY-hatYY ]

平均绝对误差

平均绝对误差（MAE）定义如下：
[ MAE=frac1nsum_i=1^n|E_i|=frac1nsum_i=1^n|Y_i-hatY_i| ]

均方误差

MSE定义如下：
[ MSE=frac1nsum_i=1^nE_i^2=frac1nsum_i=1^n(Y_i-hatY_i)^2 ]
均方误差是预测误差平方之和的平均数，由于对误差E进行了平方，加强了数值大的误差在指标中的作用，从而提高了这个指标的灵敏性。均方误差是误差分析的综合指标之一。

均方根误差

RMSE是对MSE求平方根。均方误差代表了预测值的离散程度，也称为标准误差，最佳拟合情况为RMSE=0。

平均绝对百分误差

MAPE定义如下
[ MAPE=frac1nsum_i=1^n|E_i/Y_i|=frac1nsum_i=1^n|(Y_i-hatY_i)/Y_i| ]
一般认为MAPE小于10时，预测精确度较高。

Kappa统计

Kappa统计时比较两个或多个观测者对同一事物，或观测者对同一事物的两侧或多次观察结果是否一致，以由于机遇造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标。Kappa统计量和加权Kappa统计量不仅可以用于无序和有序分类变量资料的一致性、重现性检验，而且能给出一个反应一致性大小的“量”值。

Kappa的取值在[-1, +1]之间，其值的大小均有不同意义。

• Kappa = +1 说明两次判断的结果完全一致
• Kappa = -1 说明两次判断的结果完全不一致
• Kappa = 0 说明两次判断的结果是机遇造成
• Kappa < 0 说明一致性程度比机遇造成的还差，两次检查结果很不一致，在实际应用中无意义
• Kappa > 0 说明有意义，Kappa越大，说明一致性越好
• Kappa >= 0.75 说明已经取得相当满意的一致程序
• Kappa < 0.4 说明一致性程度不够

识别准确度

识别准确度定义（Accuracy）如下:
[ Accuracy=fracTP+FNTP+TN+FP+FN*100\% ]

识别精确率

[ Precision = fracTPTP+FP*100\% ]

召回率

[ Recall = fracTPTP+TN*100\% ]

ROC曲线

受试者工作特性（ROC）曲线是一种非常有效的模型评价方法，可为选定临界值给出定量提示。将灵敏度设在纵轴，1-特异性设在横轴，就可得出ROC曲线图。该曲线下的积分面积大小与每种方法优劣密切相关，反映分类器正确分类的统计概率，其值越接近1说明算法效果越好。

混淆矩阵

混淆矩阵是模式识别领域一种常用的表达形式。它描绘样本数据的真实属性与识别结果类型之间的关系，是评价分类器性能的一种常用方法。

Python分类预测模型的特点

模型	模型特点	位于
逻辑回归	比较基础的模型，很多时候是简单有效的选择	sklearn.linear_model
SVM	强大的模型，可以用来回归、预测、分类等，而根据选取不同的核函数。模型可以是线性的或非线性的	sklearn.svm
决策树	基于“分类讨论，逐步细化”思想的分类模型，模型直观，易解释	sklearn.tree
随机森林	思想跟决策树类似，精度通常比决策树要高，缺点是由于随机性，丧失了决策树的可解释性	sklearn.ensemble
朴素贝叶斯	基于概率思想的简单有效的分类模型，能够给出容易理解的概率解释	sklearn.naive_bayes
神经网络	具有强大的拟合能力，可以用于拟合、分类等，它有很多增强版本，如递归神经网络、卷积神经网络、自编码器等	Keras

聚类分析

常用

类别	包括的主要算法
划分（分裂）方法	K-Means算法（K-平均）、K-MEDOIDS算法（K-中心点）、CLARANS算法（基于选择的算法）
层次分析方法	BIRCH算法（平衡迭代规约和聚类）、CURE算法（代表点聚类）、CHAMELEON算法（动态模型）
基于密度的方法	DBSCAN算法（基于高密度连接区域）、DENCLUE算法（密度分布函数）、OPTICS算法（对象排序识别）
基于网格的方法	STING算法（统计信息网络）、CLIOUE算法（聚类高维空间）、WAVE-CLUSTER算法（小波变换）
基于模型的方法	统计学方法、神经网络方法

目标函数

使用误差平方和（SSE）作为度量聚类质量的目标函数。

聚类分析算法评价

1. purity评价法：是极为简单的一种聚类评价方法，只需要计算正确聚类数占总数的比例
2. RI评价法：是一种用排列组合原理来对聚类进行评价的手段，类似混淆矩阵
3. F值评价法

python主要聚类算法

对象名	函数功能	所属工具箱
KMeans	K均值聚类	sklearn.cluster
AffinityPropagation	吸引力传播聚类，几乎优于所有其他方法，不需要指定聚类数，但运行效率较低	sklearn.cluster
MeanShift	均值漂移聚类算法	sklearn.cluster
SpectralClustering	谱聚类，具有效果比K均值好，速度比K均值快的特点	sklearn.cluster
AgglomerativeClustering	层次聚类，给出一棵聚类层次树	sklearn.cluster
DBSCAN	具有噪声的基于密度的聚类	sklearn.cluster
BIRCH	综合的层次聚类算法，可以处理大规模数据的聚类	sklearn.cluster

这些不同模型的使用方法是大同小异的，基本都是先用对应的函数建立模型，然后用.fit()方法训练模型，训练好之后，用.label_方法给出样本数据的标签，或者用.predict()方法预测新的输入的标签。

此外，Scipy 库中也提供了一个聚类子库scipy.cluster。

TSNE--聚类结果可视化

TSNE提供了一种有效的数据降维方式，可以在2维或者3维空间中展示结果。

关联规则

常用算法

算法名称	算法描述
Apriori	关联规则最常用也是最经典的挖掘频繁集的算法，其核心思想是通过连接产生候选项及其支持度然后通过剪枝生成频繁项集
FP-Tree	针对Apriori算法的固定多次扫描事务数据集的缺陷，提出的不产生候选频繁项集的方法。Apriori和FP-Tree都是寻找频繁项集的算法
Eclat算法	Eclat算法是一种深度优先算法，采用垂直数据表示形式，在概念格理论的基础上利用基于前缀的等价关系将搜索空间划分为较小的子空间
灰色关联法	分析和确定各因素之间的影响程度或是若干个子因素（子序列）对主因素（母序列）的贡献度而进行的一种分析方法

时序模式

常用时间序列模型

时间序列预处理

拿到一个观察值序列后，首先要对它的纯随机性和平稳性进行检验，这两个重要的检验称为序列的预处理。

1. 对于纯随机序列，又称白噪声序列，序列的各项之间没有任何相关关系，可以终止对该序列的分析。白噪声序列是没有信息可提取的平稳序列。
2. 平稳非白噪声序列，它的均值和方差是常数，已经有一套非常成熟的平稳序列的建模方法。通常是建立一个线性模型来拟合该序列的发展，ARMA模型是最常用的平稳序列拟合模型。
3. 非平稳序列，均值和方差不稳定，处理方法一般将其转变为平稳序列进行处理，如果一个时间序列经差分运算后具有平稳性，为差分平稳序列，可以使用ARIMA模型进行分析。

平稳性检验

自协方差函数和自相关系数衡量同一个事件在两个不同时刻之间的相关程度，就是度量自己过去的行为对自己现在的影响。

1. 时序图检验。均值和方差都是常数，时序图显示序列始终在一个常数附件随机波动，波动的范围有界
2. 自相关图检验。平稳序列具有短期相关性，近期序列想不间隔较远的对现在影响更明显。随着延迟期数k的增加，自相关系数较快衰减趋向于零，并在零附近随机波动，而非平稳序列衰减比较慢
3. 单位根检验。检验序列中是否存在单位根，存在就是非平稳序列

纯随机性检验

白噪声检验，一般是构造统计量，常用的有Q统计量、LB统计量

平稳时间序列分析

ARMA模型全称是自回归移动平均模型，是最常用的拟合平稳序列的模型。细分为AR模型、MA模型和ARMA模型。都是多元线性回归模型。

非平稳时间序列分析

实际上，绝大多数的序列都是非平稳的。分析方法分为：确定性因素分解的时序分析和随机时序分析两大类。

确定性因素分解的方法把所有序列的变化都归为4个因素（长期趋势、季节变动、循环变动和随机波动）的综合影响，其中随机因素导致的波动非常难确定和分析，对随机信息浪费严重，会导致模型拟合精度不理想。

随机时序分析法的发展就是为了弥补确定性因素分解方法的不足，随机时序分析可以建立的模型有ARIMA模型、残差自回归模型、季节模型、异方差模型等。

差分运算

• p阶差分：相距一期的两个序列值之间的减法运算称为1阶差分运算
• k步差分：相距k期的两个序列值之间的减法运算称为k步差分运算

ARIMA模型

差分运算具有请打的确定性信息提取能力，许多非平稳序列差分后显示出平稳序列的性质，称非平稳序列的差分平稳序列。ARIMA模型的实质就是差分运算与ARMA模型的组合。

python主要时序模式算法

python实现时序模式的主要库是StatsModels，算法主要是ARIMA模型，使用时需要：平稳性检验、白噪声检验、是否差分、AIC和BIC指标值、模型定阶，最后再做预测。

函数名	函数功能	所属工具箱
acf()	计算自相关系数	statsmodels.tsa.stattools
plot_act()	画自相关系数	statsmodels.graphics.tsaplots
pacf()	计算偏自相关系数	statsmodels.tsa.stattools
plot_pacf()	画偏自相关系数	statsmodels.graphics.tsaplots
adfuller()	对观测值序列进行单位根检验	statsmodels.tsa.stattools
diff()	对观测值序列进行差分计算	Pandas对象自带的方法
ARIMA()	创建一个ARIMA时序模型	statsmodels.tsa.arima_model
summary()或summary2()	给出一份ARIMA模型的报告	ARIMA模型对象自带的方法
aic/bic/hqic	计算ARIMA模型的AIC/BIC/HQIC指标值	ARIMA模型对象自带的变量
forecast()	应用构建的时序模型进行预测	ARIMA模型对象自带的方法
acorr_ljungbox()	Ljung-Box检验，检验是够为白噪声	statsmodels.tsa.diagnoistic

离群点检测

离群点大致分类

分类标准	分类名称	分类描述
从数据范围	全局离群点和局部离群点	从整体上看，某些对象没有离群特征，但是从局部来看，却显示了一定的离群性
从数据类型	数值型离群点和分类型离群点	这是以数据集的属性类型进行划分的
	一维离群点和多维离群点	一个对象可能有一个或多个属性

离群点检测方法

方法	方法描述	方法评估
基于统计	大部分的基于统计的离群点检测方法是构建一个概率分布模型，并计算对象符合该模型的概率，把具有概率的对象视为离群点	基于统计模型的离群点检测方法的前提是必须知道数据服从什么分布；对于高维数据，检验效果可能很差
基于邻近度	通常可以在数据对象之间定义邻近度量，把远离大部分点的对象视为离群点	简单，二维或三维的数据可以做散点图观察；大数据集不适用；对参数选择敏感；具有全局阈值，不能处理有不同密度区域的数据集
基于密度	考虑数据集可能存在不同密度区域这一事实，从基于密度的观点分析，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆	给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；大数据集不适用；参数选择是困难的
基于聚类	一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇；另一种更系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）	基于聚类技术来发现离群点可能是高度有效的；聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大

基于模型的离群点检测方法

通过估计概率分布的参数来建立一个数据模型。如果一个数据对象不能很好的同该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。

1. 一元正态分布的离群点检测，根据置信区间判断
2. 混合模型的离群点检测。混合模型是一种特殊的模型，它使用若干统计分布对数据建模，每一个分布对应一个簇，而每个分布的参数提供对应簇的描述，通常用中心和发散描述。

基于聚类的离群点检测方法

丢弃远离其他簇的小簇

该过程可以简化为丢弃小于某个阈值的所有簇。这种防范对簇的个数高度敏感，很难将离群点得分附加到对象上。

基于原型的聚类

首先聚类所有对象，然后评估对象属于簇的程度（离群点得分），在这种方法中，可以用对象到它的簇中心的距离来度量属于簇的程度。特别的，如果删除一个对象导致该目标的显著改进，则可以将该对象视为离群点。例如，在K均值算法汇总，删除远离其相关簇中心的对象能够显著改进该簇的误差平方和（SSE）。

第五章：挖掘建模未完，待续

5.1分类与预测          分类主要是预测分类标号（离散属性）；而与预测主要是建立连续值函数模型，预测给定自变量对应的因变量的值;      5.1.1实现过程   ... 查看详情

数据分析与挖掘

数据分析与挖掘学习&实战记录从大量数据(包括文本)中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，就是数据挖... 查看详情

私活之python数据挖掘建模平台

大家好，我是脚丫先生(o^^o)生活不完全是工作，但是工作却填满了生活。最近一段时间实时流模块的研发，也的确填满了日常。虽然很累，但是能掌握Flink的知识点又是格外的兴奋。知识的海洋是无边无际的，... 查看详情

私活之python数据挖掘建模平台

大家好，我是脚丫先生(o^^o)生活不完全是工作，但是工作却填满了生活。最近一段时间实时流模块的研发，也的确填满了日常。虽然很累，但是能掌握Flink的知识点又是格外的兴奋。知识的海洋是无边无际的，... 查看详情

数据挖掘之建模过程

1.定义挖掘目标定义挖掘目标即是指要在开始挖掘前，明确挖掘的目的，要达到什么效果？比如对于用户网上看视频，我们想做的可能是对视频进行关联分析或协同过滤，向用户推荐下一部视频；对于商品或新闻下的评论，我们... 查看详情

从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法

...，不喜勿喷！[握手][握手]【再啰嗦一下】如果你对数据挖掘感兴趣，欢迎先浏览我的另一篇随笔：数据挖掘比赛/项目全流程介绍【再啰嗦一下】如果你对金融科技感兴趣，欢迎浏览我的另一篇随笔：如果你想了解金融科技，不... 查看详情

数据挖掘标准流程规范

1、定义目标 调研业务目标 评析环境 确定挖掘目标 制定计划2、数据理解 收集原始数据 探索数据 检验数据质量3、数据准备 数据选取 抽取建模数据 数据预处理4、建立模型 选择建模技... 查看详情

市场分析与数据挖掘分别的分析流程

 市场分析处理数据大约花费20%时间，建模花费70%的时间，数据可视化花费10%的时间数据挖掘处理数据大约花费80%时间，建模花费10%的时间，数据可视化花费10%的时间 查看详情

knimi数据挖掘建模与分析系列_002_利用knimi做商超零售关联推荐

利用KNIMI做商超零售关联推荐老帅20150801http://blog.csdn.net/shuaihj一、測试数据       须要測试数据，请留下邮箱 二、训练关联推荐规则1.读取销售记录(sales.table)2.训练关联规则(得到前后项)watermark/2/text/a... 查看详情

knimi数据挖掘建模与分析系列_004_利用knimi做客户流失预測

利用KNIMI做客户流失预測老帅20150801http://blog.csdn.net/shuaihj一、測试数据中国移动客服数据须要測试数据，请留下邮箱二、统计已流失客户1.读取移动客服数据(客户流失.xlsx)2.统计已流失客户參数设置watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5u... 查看详情

数据挖掘150道笔试题(代码片段)

数据挖掘150道笔试题2018年03月29日21:33:29 鸿燕藏锋 阅读数：1791 数据挖掘150道笔试题单选题1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)A.关联规则发现B.聚... 查看详情

挖掘建模

分类与预测分类主要是预测分类标号（离散属性），预测是建立连续值函数模型，预测给定自变量的因变量的值。常用的分类与预测算法算法名称算法简介回归分析回归分析是确定预测属性（数值型）与其他变量间相互依赖的定... 查看详情

数据挖掘需要什么数学基础

在学习数据挖掘的时候，我们一定要掌握一些数学基础，毕竟数据挖掘中涉及到了很多的算法。说到这里我们要给大家说一说数据挖掘的概念，数据挖掘就是从大量数据中获取隐含的、潜在的是有价值信息的过程，数据挖掘也是... 查看详情

数据挖掘需要哪些技术

1.数据挖掘需要哪些基本的技术统计学知识和技术（StatisticalTechniques）可视化的画图展示技术（VisualizationTchniques）：比如可以利用相关软件来画出柱状图、散点图等等一些常用的数据挖掘技术. KNN  K紧邻算法常用数据... 查看详情

2023年第十一届泰迪杯数据挖掘挑战赛c题：泰迪内推平台招聘与求职双向推荐系统构建建模及python代码详解问题一(代码片段)

相关链接【2023年第十一届泰迪杯数据挖掘挑战赛】C题泰迪内推平台招聘与求职双向推荐系统构建建模及python代码详解问题一【2023年第十一届泰迪杯数据挖掘挑战赛】C题泰迪内推平台招聘与求职双向推荐系统构建建模及python代... 查看详情

机电一体化毕业论文写某产品虚拟样机方面的，可以吗？

　　针对挖掘机高效、节能和智能化的发展趋势,结合我国传统挖掘机行业新产品开发周期长、成本高、对挖掘机产品的评价和设计手段落后等现状,,首次运用虚拟样机这一近年来得到快速发展的先进技术开展挖掘机的高效、节能... 查看详情

r语言数据挖掘实战系列

R语言数据挖掘实战（1）一、数据挖掘基础数据挖掘：从数据中“淘金”，从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性... 查看详情

：概述

本系列文章是本人学习数据分析与数据挖掘的学习笔记，参考了许多教材，如果错误欢迎评论区指出，谢谢！目录1.1数据分析与数据挖掘1.1.1数据分析1.1.2数据挖掘1.1.3数据分析与数据挖掘的区别和联系1.1.4数据、... 查看详情