回归和分类的区别

soyosuyang soyosuyang     2022-09-28     585

关键词:

分类模型和回归模型本质一样,分类模型是将回归模型的输出离散化。

举几个例子:

1. Logistic Regression 和 Linear Regression:

  • Linear Regression: 输出一个标量 wx+b,这个值是连续值,所以可以用来处理回归问题。
  • Logistic Regression:把上面的 wx+b 通过 sigmoid函数映射到(0,1)上,并划分一个阈值,大于阈值的分为一类,小于等于分为另一类,可以用来处理二分类问题。
  • 更进一步:对于N分类问题,则是先得到N组w值不同的 wx+b,然后归一化,比如用 softmax函数,最后变成N个类上的概率,可以处理多分类问题。

2. Support Vector Regression 和 Support Vector Machine:

  • SVR:输出 wx+b,即某个样本点到分类面的距离,是连续值,所以是回归模型。

  • SVM:把这个距离用 sign(·) 函数作用,距离为正(在超平面一侧)的样本点是一类,为负的是另一类,所以是分类模型。

3. 神经网络用于 分类 和 回归:

  • 用于回归:最后一层有m个神经元,每个神经元输出一个标量,m个神经元的输出可以看做向量 v,现全部连到一个神经元上,则这个神经元输出wv+b,是一个连续值,可以处理回归问题,跟上面 Linear Regression 思想一样。

  • 用于N分类:现在这m个神经元最后连接到 N 个神经元,就有 N 组w值不同的 wv+b,同理可以归一化(比如用 softmax )变成
    N个类上的概率。

拓展: 上面的例子其实都是从 prediction 的角度举例的,如果从training角度来看,分类模型和回归模型的目标函数不同,分类常见的是 log loss, hinge loss, 而回归是 square loss。

1.回归问题的应用场景

回归问题通常是用来预测一个值,如预测房价、未来的天气情况等等,例如一个产品的实际价格为500元,通过回归分析预测值为499元,我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法(LR)。另外,回归分析用在神经网络上,其最上层是不需要加上softmax函数的,而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

2.分类问题的应用场景

分类问题是用于将事物打上一个标签,通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗,分类通常是建立在回归之上,分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念,最终正确结果只有一个,错误的就是错误的,不会有相近的概念。最常见的分类方法是逻辑回归,或者叫逻辑分类。

3.如何选择模型

下面一幅图可以告诉实际应用中我们如何选择合适的模型。
技术分享



分类与回归的关系和区别

走刀口分类和回归的区别在于输出变量的类型。定量输出称为回归,或者说是连续变量预测;定性输出称为分类,或者说是离散变量预测。举个例子:预测明天的气温是多少度,这是一个回归任务;预测明天是阴、晴还是雨,就... 查看详情

Python scikit learn中分类和回归分数的区别

】Pythonscikitlearn中分类和回归分数的区别【英文标题】:DifferencebetweenclassificationandregressionscoreinPythonscikitlearn【发布时间】:2014-06-1919:49:38【问题描述】:我是pythonscikitlearning的新手,我使用scikitlearn分类方法开发了一种数据挖掘... 查看详情

分类与回归的区别

分类与回归有什么区别其实回归问题和分类问题的本质一样,都是针对一个输入做出一个输出预测,其区别在于输出变量的类型。 分类问题是指,给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1),是一种... 查看详情

回归(regression)与分类(classification)的区别

...一个算法,需要部分数据集已经有正确的答案。“分类和回归的区别在于输出变量的类型。定量输出称为回归,或者说是连续变量预测;定性输出称为分类,或者说是离散变量预测。”回归是监督学习的一部分,通常是用来预测... 查看详情

sparkmllib学习之线性回归

SparkMLlib学习之线性回归(一)回归的概念  1,回归与分类的区别   分类模型处理表示类别的离散变量,而回归模型则处理可以取任意实数的目标变量。但是二者基本的原则类似,都是通过确定一个模型,将输入特征映射... 查看详情

机器学习-正则化+回归与分类辨析

机器学习-正则化+回归与分类辨析这篇文章是对自己早期一篇讲正则化和回归的补充。当时写作那篇文章的时候自己还刚刚入门机器学习,许多知识是理解了,但是缺少从一定的高度上的总结。结合这篇来看原来的那篇,不容易... 查看详情

机器学习之svm与逻辑回归的联系和区别

  通常说的SVM与逻辑回归的联系一般指的是软间隔的SVM与逻辑回归之间的关系,硬间隔的SVM应该是与感知机模型的区别和联系。而且工程中也不能要求所有的点都正确分类,训练数据中噪声的存在使得完全正确分类很可能造成... 查看详情

逻辑回归和svm的区别是啥?各适用于解决啥问题

...方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logisticalloss,svm采用的是hingeloss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑supp... 查看详情

回归与分类的区别

...的预测结果是考试通过,或者不通过,这2种离散数据。回归输出的是连续数据类型。比如我们通过学习时间预测学生的考试分数,这里的预测结果分数,是连续数据。2)第2个区别是我们想要通过机器学习算法得到什么?分类算... 查看详情

机器学习—逻辑回归与svm区别

...么不同点  (1)本质上是其lossfunction不同;  逻辑回归损失函数:    SVM损失函数:    LR方法基于概率理论,假设样本为0或者1的概率可以用sigmoid函数来表示,然后 查看详情

分类与回归?

】分类与回归?【英文标题】:ClassificationvsRegression?【发布时间】:2016-02-2717:57:36【问题描述】:我不太清楚分类和回归之间有什么区别。据我了解,分类是分类的。要么就是这个,要么就是那个。回归更像是一种预测。以上两... 查看详情

面试题:线性回归和逻辑回归的区别

...的原理可以去百度搜下,这里直接说区别不同点线性回归逻辑回归目的预测分类y未知(0,1)函数拟合函数预测函数参数计算方式最小二乘法极大似然估计更多题目请看公众号“百面机器学习”  查看详情

逻辑回归解决啥问题

参考技术A问题一:逻辑回归和SVM的区别是什么?各适用于解决什么问题两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logisticalloss,svm采用的是hingeloss.这两个损失函数的目的都是增加对分类影响较大的... 查看详情

逻辑回归和svm的区别是啥?

...来看待这两种学习模型,那么结果会是下面这样的。逻辑回归和软间隔SVM(线性核)都是线性分类器,其分界面是超平面(w0+w1*x1+...+wd*xd=0),所以两者适用于数据本质上是线性可分或近似线性可分的情形。软间隔SVM(非线性核)是非线... 查看详情

机器学习逻辑回归和线性回归的区别?(面试回答)

逻辑回归和线性回归的区别?逻辑回归=线性回归+sigmoid函数逻辑回归引入了sigmoid函数,这是一个非线性函数,增加了模型的表达能力逻辑回归输出有限离散值,可以用来解决概率问题、分类问题等。两者使... 查看详情

机器学习

...Llib中支持的算法统计如下:主要针对MLlib进行总结分类与回归分类和回归是监督式学习;监督式学习是指使用有标签的数据(LabeledPoint)进行训练,得到模型后,使用测试数据预测结果。其中标签数据是指已知结果的特征数据。... 查看详情

gbdtxgboost的区别与联系

...类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开 查看详情

数据挖掘gbdt面试题:其中基分类器cart回归树,节点的分裂标准是什么?与rf的区别?与xgb的区别?

...负梯度,替代提升树算法中的残差,去拟合一个回归树。回归和分类基学习器都是CART回归树,区别在 查看详情