关键词：
ng机器学习视频笔记（三）
——线性回归的多变量、特征缩放、标准方程法
（转载请附上本文链接——linhxx）
一、多变量
当有n个特征值，m个变量时，h(x)= θ0+θ1x1+θ2x2…+θnxn，其中可以认为x0=1。因此，h(x)= θTx，其中θ是一维向量，θ=[θ0, θ1…θn] T，x也是一维向量，x=[x0,x1..xn] T，其中x0=1。
二、特征缩放（Feature Scaling）
特征缩放的目的，是为了让每个特征值在数量上更加接近，使得每个特征值的变化的影响相对比较“公平”。
其将每个特征值，除以变量中该特征值的范围（特征值最大值减最小值），将结果控制在-1~1之间。
对于x0，不需要改变，其仍是1，也在期望的范围内（-1~1）。
公式：特征值=（原值-特征平均值）/取值区间，取值区间=最大值-最小值。
三、学习速率α
α表示迭代至稳定值的速率。当θ用公式进行迭代，两次迭代之间的Δθ的值小于某个值（一般可以用10-3），则可以认为代价函数已经最小。
对于α，可以使用下列数据进行测试：
0.001、0.01、0.1、1、10…，或者可以用0.001、0.003、0.01、0.03、0.1、0.3、1…，即可以用3倍或10倍的速度，将α的值慢慢调整到一个区间，再进行微调。
四、多项式回归（Polynomial regression）
当图像用直线表示不是很准确的时候，可以考虑使用其他函数，如二次、三次、根号等函数进行表示。
五、标准方程法（normal equation）
1、公式推导
标准方程法是与梯度下降法功能相似的算法，旨在获取使代价函数值最小的参数θ。代价函数公式如下：
根据上述代价函数，令J对每个θ的倒数都为0，可以解得θ=(XTX)-1XTY。其中，Y=[y1,y2…yn]表示每个样本的结果，
表示样本的集合。
由于这个方法是直接通过代数的方式，解出每个θ，因此，其不需要进行特征缩放，也不需要学习速率α。
2、特殊情况
由于用标准方程法时，涉及到要计算矩阵XTX的逆矩阵。但是XTX的结果有可能不可逆。
当使用python的numpy计算时，其会返回广义的逆结果。
主要原因：
出现这种情况的主要原因，主要有特征值数量多于训练集个数、特征值之间线性相关（如表示面积采用平方米和平方公里同时出现在特征值中）。
因此，首先需要考虑特征值是否冗余，并且清除不常用、区分度不大的特征值。
3、比较标准方程法和梯度下降算法
这两个方法都是旨在获取使代价函数值最小的参数θ，两个方法各有优缺点：
1）梯度下降算法
优点：当训练集很大的时候（百万级），速度很快。
缺点：需要调试出合适的学习速率α、需要多次迭代、特征值数量级不一致时需要特征缩放。
2）标准方程法
优点：不需要α、不需要迭代、不需要特征缩放，直接解出结果。
缺点：运算量大，当训练集很大时速度非常慢。
4、综合
因此，当训练集百万级时，考虑使用梯度下降算法；训练集在万级别时，考虑使用标准方程法。在万到百万级区间时，看情况使用，主要还是使用梯度下降算法。
——written by linhxx
更多最新文章，欢迎关注微信公众号“决胜机器学习”，或扫描右边二维码。
机器学习入门系列二（关键词：多变量(非)线性回归，批处理，特征缩放，正规方程）
一、多变量的线性回归在#机器学习系列一#中，我们讨论了单变量的线性回归，而多变量的线性回归与单变量类似，一致内容就不再赘述了。首先我们来看一个例子，下表是波特兰的房子价格，针对不同的房屋... 查看详情
机器学习｜多变量线性回归|吴恩达学习笔记(代码片段)
前文回顾：机器学习|线性回归（单变量）目录📚多维特征📚多变量梯度下降📚梯度下降法实践🐇特征缩放🐇学习率📚特征和多项式回归📚正规方程📚梯度下降与正规方程的比较 ... 查看详情
机器学习——多变量线性回归
【一、多变量线性回归模型】多变量线性回归是指输入为多维特征的情况。比如：在上图中可看出房子的价格price由四个变量(size、numberofbedrooms、numberoffloors、ageofhome)决定。为了能够预測给定条件（四个变量）下的房子的价格（y... 查看详情
斯坦福机器学习视频笔记week2linearregressionwithmultiplevariables
相比于week1中讨论的单变量的线性回归，多元线性回归更具有一般性，应用范围也更大，更贴近实际。MultipleFeatures上面就是接上次的例子，将房价预测问题进行扩充，添加多个特征（features），使问题变成多元线性回归问题。多... 查看详情
斯坦福大学andrewng-机器学习笔记--单变量&多变量线性回归
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
ng机器学习视频笔记——logistic回归
ng机器学习视频笔记（四）——logistic回归 （转载请附上本文链接——linhxx） 一、概述1、基本概念 logistic回归（logisticregression），是一个分类（classification）算法（注意不是回归算法，... 查看详情
机器学习入门：多变量线性回归(代码片段)
...的两个小技巧。本文分享自华为云社区《【跟着小Mi一起机器学习吧！】多变量线性回归（一）》，原文作者：Skytier。1 多维特征既然是多变量线性回归，那么肯定是存在多个变量或者多个特征的情况啦。就拿之前研究的线... 查看详情
斯坦福机器学习
---title:斯坦福机器学习-线性回归photos:-http://7xrw7v.com1.z0.glb.clouddn.com/bb2cf32cadac65e934ab587c5f456329.pngtags:-斯坦福机器学习date:2016-09-0516:34:34--- 摘要：-单变量线性回归-代价函数-梯度下降-学习率-多变量线性回归-特征缩放-多项式回... 查看详情
ng机器学习视频笔记——pca实现样本特征降维
ng机器学习视频笔记（十二）——PCA实现样本特征降维 （转载请附上本文链接——linhxx） 一、概述 所谓降维（dimensionalityreduction），即降低样本的特征的数量，例如样本有10个特征... 查看详情
吴恩达机器学习学习笔记——2.1单变量线性回归算法
1回顾1.1监督学习定义：给定正确答案的机器学习算法分类：（1）回归算法：预测连续值的输出，如房价的预测（2）分类算法：离散值的输出，如判断患病是否为某种癌症1.2非监督学习定义：不给定数据的信息的情况下，分析数... 查看详情
机器学习单变量线性回归linearregressionwithonevariable
文章内容均来自斯坦福大学的AndrewNg教授讲解的MachineLearning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主RachelZhang和 JerryLead 的个人笔记，为我做个人学习笔记提供了很好的... 查看详情
machinelearning_ng第四讲多变量线性回归
在第四讲中，主要学习了多变量线性回归(LinearRegressionwithMultipleVariables)的多维特征、多变量梯度下降、特征缩放、特征和多项式回归以及正规方程等。#多维特征（MultipleFeatures）为房价模型增加更多的特征，如房间楼层数等，则... 查看详情
coursera机器学习week4笔记
NeuralNetworks: RepresentationNon-linearhypotheses我们之前学到的，无论是线性回归还是逻辑回归都有一个缺点，当特征太多时，计算负荷会非常的大。如下：只有x1和x2，但运用多次项进行预测时，我们的方程可以很好的预测。使用非... 查看详情
机器学习笔记线性回归
...（N=d+1时），在大部分的情况下是可逆的，原因是在进行机器学习时，通常满足，即样本数量 查看详情
机器学习算法：线性回归简介
学习目标了解线性回归的应用场景知道线性回归的定义1线性回归应用场景房价预测销售额度预测贷款额度预测举例： 2什么是线性回归2.1定义与公式线性回归(Linearregression)是利用回归方程(函数)对一个或多个自变量(特征值)... 查看详情
机器学习线性回归简介
目录1线性回归应用场景2什么是线性回归2.1定义与公式2.2线性回归模型介绍3小结1线性回归应用场景房价预测销售额度预测贷款额度预测举例：2什么是线性回归2.1定义与公式线性回归(Linearregression)是利用回归方程(函数)对一个... 查看详情
机器学习笔记3
多变量线性回归1.1多维特征Multiplefeatures继续以预测房屋价格为例，之前只有单变量，但在实际中是有多个变量(特征)，比如除了房屋大小还有房间个数、房屋层数、房屋年限等假设有m=47个样本符号定义分别为：n：特征的数量x(i)... 查看详情
机器学习笔记：大话线性回归(代码片段)
大家好，我是东哥。线性回归作为监督学习中经典的回归模型之一，是初学者入门非常好的开始。宏观上考虑理解性的概念，我想我们在初中可能就接触过，y=ax，x为自变量，y为因变量，a为系数也是斜率。如果我们知道了a系数... 查看详情