分类预测与回归模型介绍

iceredtea iceredtea     2023-05-04     766

关键词:

1.分类与预测

分类与预测是预测问题的两种主要类型;

分类主要是:预测分类标号(离散属性);

预测主要是:建立连续值函数模型,预测给定自变量对应的因变量的值。

实现过程

(1)分类

  分类是构造一个分类模型,输入样本属性值,输出对应类别,将每个样本映射到预先定义好的类别。

  分类模型,建立在已有类标记的数据集上,因此,属于“有监督学习”

(2)预测

  预测,指建立两种或两种以上变量间相互依赖的函数模型,进行预测或控制

(3)实现过程

  分类算法:

  a:学习步,通过归纳分析训练样本集建立分类模型得到分类规则;

  b:分类步,先用已知的测试样本集,评估分类规则的准确率

  预测模型:

  a:通过训练集建立预测属性的函数模型

  b:在模型通过检验后进行预测或控制

2.常用分类与预测算法   

算法名称 算法描述
回归分析 回归分析,确定预测属性与其他变量间相互依赖的定量关系。包括:线性回归、非线性回归、Logistic回归、岭回归、主成分回归、偏最小二乘回归等模型
决策树 决策树采用自顶向下的递归方式,在内部节点进行属性值比较,并根据不同的属性值从该节点向下分支,最终得到的叶节点是学习划分的类
人工神经网络 人工神经网络是一种模仿大脑神经网络结构和功能而建立的信息处理系统,表示神经网络的输入与输出变量之间关系的模型
贝叶斯网络 贝叶斯网络又称信度网络,是Bayes方法的扩展,是目前不确定知识表达和推理领域最有效的理论模型之一
支持向量机 支持向量机是一种通过某种非线性映射,把低维的非线性可分转化为高维的线性可分,在高维空间进行线性分析的算法

3.回归分析介绍

回归分析是通过建立模型研究变量间的相互关系密切程度,结构状态及模型预测的工具,回归分析研究范围大致如下:

技术图片

 

4.主要回归模型介绍

回归模型名称 适用条件 算法描述
线性回归 因变量与自变量是线性关系 对一个或多个自变量和因变量间的线性关系进行建模,可用最小二乘法求解模型系数
非线性回归 因变量与自变量间不都是线性关系 对一个或多个自变量和因变量间的非线性关系进行建模。若非线性关系可通过简单的函数变换转化成线性关系,用线性回归的思想求解,若不能转化,用非线性最小二乘法求解
Logistic回归 因变量一般有1和0(是、否)两种取值 广义线性回归模型的特例,利用Logistic函数将因变量的取值范围控制在0、1之间,表示取值为1的概率
岭回归 参与建模的自变量间具有多重共线性 是一种改进最小二乘估计的方法
主成分回归 参与建模的自变量间具有多重共线性 主成分回归是根据主成分分析的思想提出的,是对最小二乘法的改进,它是参数估计的一种有偏估计。可消除自变量间的多重共线性

回归模型与房价预测

  1.导入数据集fromsklearn.datasetsimportload_bostonboston=load_boston()boston.keys()2.查看数据集#介绍print(boston.DESCR)#查看数据data=boston.data#查看房价boston.target#特征boston.feature_names3.一元线性回归模型,建立一个变量与房价 查看详情

机器学习笔记-基于逻辑回归的分类预测(代码片段)

基于逻辑回归的分类预测1逻辑回归的介绍和应用1.1逻辑回归的介绍逻辑回归(Logisticregression,简称LR)虽然其中带有"回归"两个字,但逻辑回归其实是一个分类模型,并且广泛应用于各个领域之中。虽然... 查看详情

挖掘建模

分类与预测分类主要是预测分类标号(离散属性),预测是建立连续值函数模型,预测给定自变量的因变量的值。常用的分类与预测算法算法名称算法简介回归分析回归分析是确定预测属性(数值型)与其他变量间相互依赖的定... 查看详情

逻辑斯谛回归,softmax回归与最大熵模型

逻辑斯谛回归(logisticregression)是统计学习中的经典分类方法最大熵是概率模型学习的一个准则,被推广到分类问题后可得到最大熵模型(MaximumEntropyModel)逻辑斯谛回归模型与最大熵模型都属于对数线性模型,而对数线性模型又是广... 查看详情

机器学习数据预处理之缺失值:预测填充(回归模型填充分类模型填充)(代码片段)

...器学习数据预处理之缺失值:预测填充(回归模型填充、分类模型填充)garbagein,garbageout.没有高质量的数据,就没有高质量的数据挖掘结果,数据值缺失是数据分析中经常遇到的问题之一。当缺失比例很小时,可直接对缺失记录... 查看详情

逻辑回归(logisticregression)

...。这主要是由于线性回归在整个实数域内敏感度一致,而分类范围,需要在[0,1]。逻辑回归就是一种减小预测范围,将预测值限定为[0,1]间的一种回归模型。2、模型逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数,... 查看详情

回归模型与房价预测

...数据集2.一元线性回归模型,建立一个变量与房价之间的预测模型,并图形化显示。结果如下: 3.多元线性回归模型,建立13个变量与房价之间的预测模型,并检测模型好坏,并图形化显示检查结果。结果如下: 4. 一元... 查看详情

分类与回归的关系和区别

走刀口分类和回归的区别在于输出变量的类型。定量输出称为回归,或者说是连续变量预测;定性输出称为分类,或者说是离散变量预测。举个例子:预测明天的气温是多少度,这是一个回归任务;预测明天是阴、晴还是雨,就... 查看详情

回归模型与房价预测

...数据集2.一元线性回归模型,建立一个变量与房价之间的预测模型,并图形化显示。3.多元线性回归模型,建立13个变量与房价之间的预测模型,并检测模型好坏,并图形化显示检查结果。4. 一元多项式回归模型,建立一个变... 查看详情

sparkmllib学习之线性回归

SparkMLlib学习之线性回归(一)回归的概念  1,回归与分类的区别   分类模型处理表示类别的离散变量,而回归模型则处理可以取任意实数的目标变量。但是二者基本的原则类似,都是通过确定一个模型,将输入特征映射... 查看详情

回归模型与房价预测(代码片段)

...数据集2.一元线性回归模型,建立一个变量与房价之间的预测模型,并图形化显示。3.多元线性回归模型,建立13个变量与房价之间的预测模型,并检测模型好坏,并图形化显示检查结果。4. 一元多项式回归模型,建立一个变... 查看详情

回归模型与房价预测(代码片段)

...数据集2.一元线性回归模型,建立一个变量与房价之间的预测模型,并图形化显示。3.多元线性回归模型,建立13个变量与房价之间的预测模型,并检测模型好坏,并图形化显示检查结果。4. 一元多项式回归模型,建立一个变... 查看详情

1.1.广义线性模型

...系数),为intercept_(截距)。要使用广义线性模型实现分类,详见Logistic回归。1.1.1.常规最小二乘法线性回归拟合以系数最小化可观测到的数据的响应与线性模型预测的响应的残差和的平方,用数学公式表示即:  LinearReg... 查看详情

《动手学深度学习》softmax回归(pytorch版)

softmax-regression1分类问题2softmax回归模型3单样本分类的矢量计算表达式4小批量样本分类的矢量计算表达式5交叉熵损失函数6模型预测及评价小结前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输... 查看详情

《动手学深度学习》softmax回归(pytorch版)

softmax-regression1分类问题2softmax回归模型3单样本分类的矢量计算表达式4小批量样本分类的矢量计算表达式5交叉熵损失函数6模型预测及评价小结前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输... 查看详情

logistic回归的介绍

...、幽门螺杆菌感染等。自变量既可以是连续的,也可以是分类的。然后通过logistic回归分析,可以得到自变量的权重,从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可... 查看详情

在多类分类上使用 Spark ML 的逻辑回归模型给出错误:列预测已经存在

】在多类分类上使用SparkML的逻辑回归模型给出错误:列预测已经存在【英文标题】:UsingSparkML\'sLogisticRegressionmodelonMultiClassClassificationgivingerror:Columnpredictionalreadyexists【发布时间】:2017-06-1506:43:24【问题描述】:我正在使用SparkML... 查看详情

机器学习知识点总结

...模型对新的样本进行预测推断。有监督学习的典型代表是分类问题和回归问题。 无监督学习对没有标签的样本进行分析,发现样本集的结构或者分布规律。无监督学习的典型代表是聚类,表示学习,和数据降维,它们处理的... 查看详情