正文

机器学习—逻辑回归与svm区别

深度机器学习  深度机器学习  2022-11-12  525

关键词：

逻辑回归详细推导：http://lib.csdn.net/article/machinelearning/35119

面试常见问题：https://www.cnblogs.com/ModifyRong/p/7739955.html

1、LR和SVM有什么相同点

　　（1）都是监督分类算法，判别模型；

　　（2）LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题）；

　　（3）两个方法都可以增加不同的正则化项，如L1、L2等等。所以在很多实验中，两种算法的结果是很接近的。

2、LR和SVM有什么不同点

　　（1）本质上是其loss function不同；

　　区别在于逻辑回归采用的是Logistical Loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。

　　逻辑回归损失函数：

　　SVM损失函数：

　　LR方法基于概率理论，假设样本为0或者1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值，或者从信息论的角度来看，其是让模型产生的分布 $P (Y | X)$

　　（2）SVM只考虑分类面上的点，而LR考虑所有点（远离的点对边界线的确定也起作用）

　　SVM中，在支持向量之外添加减少任何点都对结果没有影响，而LR则是每一个点都会影响决策。
　　Linear SVM不直接依赖于数据分布，分类平面不受一类点影响；LR则是受所有数据点的影响，所以受数据本身分布影响的，如果数据不同类别strongly unbalance，一般需要先对数据做balancing。

　　（3）在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法。

　　SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算量。而LR则每个点都需要两两计算核函数，计算量太过庞大。

　　（4）SVM依赖于数据的测度，而LR则不受影响

　　因为SVM是基于距离的，而LR是基于概率的，所以LR是不受数据不同维度测度不同的影响，而SVM因为要最小化 $\frac{1}{2} | | w | |^{2}$

$\frac{1}{2} | | w | |^{2}$

　　（5）SVM自带结构风险最小化，LR则是经验风险最小化

　　SVM的损失函数就自带正则！！！（损失函数中的1/2||w||^2项），这就是为什么SVM是结构风险最小化算法的原因！！！而LR必须另外在损失函数上添加正则项！！！

　　以前一直不理解为什么SVM叫做结构风险最小化算法，所谓结构风险最小化，意思就是在训练误差和模型复杂度之间寻求平衡，防止过拟合，从而达到真实误差的最小化。来达到结构风险最小化的目的，最常用的方法就是添加正则项，而SVM自带正则项。

　　（6）LR和SVM在实际应用的区别

　　根据经验来看，对于小规模数据集，SVM的效果要好于LR，但是大数据中，SVM的计算复杂度受到限制，而LR因为训练简单，可以在线训练，所以经常会被大量采用【听今日头条的同学说，他们用LR用的就非常的多】

转自：简书作者

机器学习总结四：逻辑回归与反欺诈检测案例

机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means四、逻辑回归1、概述由线性回归变化而来的，应用于分... 查看详情

机器学习支持向量机svm逻辑回归lr决策树dt的直观对比和理论对比，该如何选择（面试回答）？

1、支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择？（1）直观区别：逻辑回归：逻辑回归的决策边界总是一条直线（或者一个平面，在更高维度上是超平面），逻... 查看详情

面试题：逻辑回归与朴素贝叶斯有什么区别

更多题目请看公众号“机器学习算法面试”逻辑回归是判别模型，朴素贝叶斯是生成模型，所以生成和判别的所有区别它们都有。朴素贝叶斯属于贝叶斯，逻辑回归是最大似然，两种概率哲学间的区别。朴素贝叶... 查看详情

coursera机器学习week7笔记

SupportVectorMachines（支持向量机）Optimizationobjective与逻辑回归和神经网络相比，支持向量机，或者简称SVM。在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。这是逻辑回归里的，右边是S型激励函数，我们用z表示&... 查看详情

机器学习入门之四：机器学习的方法--svm（支持向量机）（转载）

...）　　　　支持向量机算法是诞生于统计学习界，同时在机器学习界大放光彩的经典算法。　　支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得... 查看详情

机器学习逻辑回归和线性回归的区别？(面试回答)

逻辑回归和线性回归的区别？逻辑回归=线性回归+sigmoid函数逻辑回归引入了sigmoid函数，这是一个非线性函数，增加了模型的表达能力逻辑回归输出有限离散值，可以用来解决概率问题、分类问题等。两者使... 查看详情

逻辑回归解决啥问题

...法是只考虑supportvectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.此外,根据需要,两个方... 查看详情

机器学习—线性回归逻辑回归softmax回归的区别

1、什么是回归？　　是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。2、线性回归　　代价函数（平方误差代价函... 查看详情

逻辑回归和svm的区别是啥？各适用于解决啥问题

机器学习基础---支持向量机svm(代码片段)

到目前为止,你已经见过一系列不同的学习算法。在监督学习中，许多监督学习算法的性能都非常类似。因此，重要的不是你该选择使用学习算法A还是学习算法B，而更重要的是，应用这些算法时，所使用的数据量。这就体现了你... 查看详情

浅谈对机器学习算法的一些认识（决策树，svm，knn最近邻，随机森林，朴素贝叶斯逻辑回归）

一、决策树　　定下一个最初的质点，从该点出发、分叉。（由于最初质点有可能落在边界值上，此时有可能会出现过拟合的问题。二、SVM　　 svm是除深度学习在深度学习出现之前最好的分类算法了。它的特征如下：　... 查看详情

机器学习系列7基于python的scikit-learn库构建逻辑回归模型(代码片段)

课前测验本文所用数据免费下载在本文中，你将学习：0用于数据可视化的新库1逻辑回归原理及技术目录一、内容介绍二、理论知识1.分类与回归的区别2.逻辑回归与其他回归的区别3.逻辑回归的数学原理①逻辑回归基本原... 查看详情

[机器学习]courseraml笔记-逻辑回归（logisticregression）

引言　机器学习栏目记录我在学习MachineLearning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自StandfordAndrewNg老师在Coursera的教程以及UFLDLTutorial，StanfordCS231n等在线课... 查看详情

lr和svm的联系与区别

参考技术ALR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同，提升自身水平。找到一个博客解释的比较好：博客：LR与SVM的异同。下面的内容也是跟着这篇博客进行学习的。按照label的类型进行判别... 查看详情

机器学习——线性回归分类与逻辑回归

http://antkillerfarm.github.io/序这是根据AndrewNg的《机器学习讲义》，编写的系列blog。http://www.cnblogs.com/jerrylead/archive/2012/05/08/2489725.html这是网友jerrylead翻译整理的版本，也是本文的一个重要的参考。http://www.tcse.cn/~xulijie/这是jerrylea 查看详情

算法工程师（机器学习）面试题目3---机器学习算法

...是自己整理回答的答案可以借鉴也可能存在错误欢迎指正机器学习机器学习算法1、处理分类问题常用算法1、交叉熵公式2、LR公式3、LR的推导，损失函数4、逻辑回归怎么实现多分类5、SVM中什么时候用线性核什么时候用高斯核... 查看详情

机器学习面试总结————

目录1、使用机器学习模型时，一般怎么处理数据集2、什么是训练误差和测试误差3、什么是过拟合与欠拟合?怎么解决4、机器学习当中的回归模型有哪些5、机器学习当中的分类模型有哪些6、回归和分类模型的评价指标都有哪... 查看详情

机器学习-逻辑回归与线性回归(代码片段)

logistic回归与线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。这一家族中的模型形... 查看详情