关键词：
机器学习-正则化+回归与分类辨析
这篇文章是对自己早期一篇讲正则化和回归的补充。当时写作那篇文章的时候自己还刚刚入门机器学习，许多知识是理解了，但是缺少从一定的高度上的总结。结合这篇来看原来的那篇，不容易乱。
首先要明确，正则化不是回归的专利，回归和分类都是可以使用的。在回归中使用正则化就是岭回归（L2正则化）和Lasso（L1正则化），在分类中使用就是我们常见的loss function中的正则项了（其实还有一个方面的应用，知乎这位答主提到了，就是直接构造loss function,例如L1正则就构造成这样：
，L2正则就构造成这样:
),在例如sklearn中的模型中都有对应的参数选择。
其实从某一方面来说，分类和回归的区别就体现了阈值的有无上，设置了阈值判断的回归就是分类。其实仔细想想，分类和回归问题在机器学习和深度学习上差不多是半斤八两，只是因为自己现在做的是计算机视觉的目标检测，所以对分类模型比较重视，在其他的领域，例如预测股票等等之类的场景，回归问题还是很多的，两者的区别就体现了网络结构的设计上，但是如果都是有监督学习的范畴内的话，区别真的不太大，例如这个知乎问题所说。
机器学习实战之logistic回归
...2.logistic回归分类函数 一、概述 分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中，大约70%的问题属于分类问题。解决分类问题的算法也有很多种，比如 查看详情
机器学习面试总结————
目录1、使用机器学习模型时，一般怎么处理数据集2、什么是训练误差和测试误差3、什么是过拟合与欠拟合?怎么解决4、机器学习当中的回归模型有哪些5、机器学习当中的分类模型有哪些6、回归和分类模型的评价指标都有哪... 查看详情
吴恩达-coursera-机器学习-week3
六、逻辑回归(LogisticRegression)6.1分类问题6.2假说表示6.3判定边界6.4代价函数6.5简化的成本函数和梯度下降6.6高级优化6.7多类别分类：一对多七、正则化(Regularization)7.1过拟合的问题7.2代价函数7.3正则化线性回归7.4正则化的逻辑回归... 查看详情
机器学习｜正则化｜评估方法｜分类模型性能评价指标｜吴恩达学习笔记
前文回顾：逻辑回归目录📚正则化🐇过拟合的问题🐇代价函数🐇正则化线性回归🐇正则化的逻辑回归模型📚模型评估方法🐇留出法（hold-out）🐇交叉验证法（cross-validation）&#... 查看详情
机器学习中的数学原理——过拟合正则化与惩罚函数
...白什么是过拟合、正则化、惩罚函数。这个专栏名为白话机器学习中数学学习笔记，主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言... 查看详情
机器学习笔记：岭回归（l2正则化）
...决可能不可逆带来的问题。3从贝叶斯的角度看岭回归和机器学习笔记： 查看详情
机器学习汇总----线性回归和正则化
1.什么是线性回归线性：两个变量之间的关系是一次函数关系的——图象是直线，叫做线性。非线性：两个变量之间的关系不是一次函数关系的——图象不是直线，叫做非线性。回归：人们在测量事物的时候因为客观... 查看详情
机器学习正则化线性模型和模型保存(代码片段)
目录1正则化线性模型1.1岭回归1.2Lasso回归1.3弹性网络1.4EarlyStopping1.5小结2线性回归的改进-岭回归2.1API2.2正则化程度变化2.3波士顿房价预测2.4小结3模型的保存和加载3.1sklearn模型的保存和加载API3.2线性回归的模型保存加载案例3.3tips... 查看详情
机器学习算法的五种基本算子是
...对误差的衡量来探索变量之间的关系的一类算法，是统计机器学习的利器。2.基于实例的算法。基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行... 查看详情
机器学习中正则化项l1和l2的直观理解
正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作?1ell_1-norm和?2ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做... 查看详情
机器学习-正则化（岭回归lasso）和前向逐步回归(代码片段)
机器学习-正则化（岭回归、lasso）和前向逐步回归本文代码均来自于《机器学习实战》这三种要处理的是同样的问题，也就是数据的特征数量大于样本数量的情况。这个时候会出现矩阵不可逆的情况，为什么呢？矩阵可逆的条件... 查看详情
机器学习——线性回归分类与逻辑回归
http://antkillerfarm.github.io/序这是根据AndrewNg的《机器学习讲义》，编写的系列blog。http://www.cnblogs.com/jerrylead/archive/2012/05/08/2489725.html这是网友jerrylead翻译整理的版本，也是本文的一个重要的参考。http://www.tcse.cn/~xulijie/这是jerrylea 查看详情
斯坦福大学andrewng-机器学习笔记--逻辑回归&正则化
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
stanfordcoursera机器学习编程作业exercise5（正则化线性回归及偏差和方差）
本文根据水库中蓄水标线(waterlevel)使用正则化的线性回归模型预水流量(waterflowingoutofdam)，然后debug学习算法以及讨论偏差和方差对该线性回归模型的影响。 ①可视化数据集本作业的数据集分成三部分：?训练集(trainingset)，样... 查看详情
吴恩达机器学习第五天逻辑回归模型
想不到又过了几天前几天在忙一个项目，需要用前端实现一个页面，遇到跨域的问题，一直弄不出来逻辑回归分类假设陈述（HypothesisRepresentation）决策边界代价函数简化代价函数和梯度下降更好的优化解决多... 查看详情
机器学习总结机器学习基础知识
机器学习分类（1）监督学习数据集是有标签的，就是说对于给出的样本我们是知道答案的，我们大部分学到的模型都是属于这一类的，包括线性分类器、支持向量机等等；（2）无监督学习跟监督学习相反，数据集是完全没有标... 查看详情
机器学习中l1,l2正则化项
搞过机器学习的同学都知道，L1正则就是绝对值的方式，而L2正则是平方和的形式。L1能产生稀疏的特征，这对大规模的机器学习灰常灰常重要。但是L1的求解过程，实在是太过蛋疼。所以即使L1能产生稀疏特征，不到万不得已，... 查看详情
机器学习理论基础学习2——线性回归
1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3.L2正则化--- 岭回归 4.从概率的角度看正... 查看详情