关键词：
摘要：最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单，也在业界得到了广泛使用。
本文分享自华为云社区《最小二乘法介绍》，作者：Yan 。
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单，也在业界得到了广泛使用。
但是对于最小二乘法和它的故事，也许很多人并不了解，今天给大家做一下分享。
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。
为了方便大家理解最小二乘法，给大家讲个故事。
假设身高是变量X，体重是变量Y，我们都知道身高与体重有比较直接的关系。生活经验告诉我们：一般身高比较高的人，体重也会比较大。但是这只是我们直观的感受，只是很粗略的定性的分析。
在数学世界里，我们大部分时候需要进行严格的定量计算：能不能根据一个人的身高，通过一个式子就能计算出他或者她的标准体重？
我们可以采样一批人的身高体重数据， (x1,y1),(x2,y2),⋯,(xn,yn)，其中x是身高，y是体重。
生活常识告诉我们：身高与体重是一个近似的线性关系，用最简单的数学语言来描述就是y = \\beta_0+\\beta_1xy=β0+β1x。
于是，接下来的任务就变成：怎么求出这个β0与β1呢？
为了计算β0,β1的值，我们采取如下规则：β0,β1应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是：
其中，y_ieyie表示根据y=\\beta_0 + \\beta_1xy=β0+β1x估算出来的值，y_iyi是观察得到的真实值。
这样，样本的回归模型很容易得出：
现在需要确定β0、β1，使cost function最小。大家很容易想到，对该函数求导即可找到最小值：
将这两个方程整理后使用克莱姆法则，很容易求解得出：
根据这个公式，只需要将样本都带入就可以求解出相应的参数。
如果我们推广到更一般的情况，假如有更多的模型变量x1,x2,⋯,xm（注意：x_1x1是指 一个样本，x1是指样本里的一个模型相关的变量)，可以用线性函数表示如下：
y(x1,⋯,xm;β0,⋯,βm)=β0+β1x1+⋯+βmxm
对于n个样本来说，可以用如下线性方程组表示：
如果将样本矩阵x_i^hxih记为矩阵A,将参数矩阵记为向量\\betaβ，真实值记为向量Y，上述线性方程组可以表示为：
即A \\beta = YAβ=Y
对于最小二乘来说，最终的矩阵表达形式可以表示为：
min∣∣Aβ−Y∣∣2
最后的最优解为：
β=(ATA)−1ATY
2021华为云 AI 实战营——华为云员工都在学的AI实战营，快来报名免费学习吧~
机器学习-最小二乘法
最小二乘法是机器学习中的基础知识点，一致对最小二乘法的理解不够深入，今天就花点时间来深入理解和探讨一下最小二乘法最小二乘法，又称最小平方法，基本公式通俗来讲，二者先取个差值，在来个平方，最后搞一个和号... 查看详情
python_numpy最小二乘法的曲线拟合
参考技术A在了解了最小二乘法的基本原理之后python_numpy实用的最小二乘法理解，就可以用最小二乘法做曲线拟合了从结果中可以看出，直线拟合并不能对拟合数据达到很好的效果，下面我们介绍一下曲线拟合。b=[y1][y2]......[y100]... 查看详情
最小二乘法来龙去脉
https://blog.csdn.net/bitcarmanlee/article/details/51589143 最小二乘是每个上过大学的同学都接触过的概念与知识点(当然可能纯文科的同学没接触过，但是一般纯文科的同学也不会看这篇文章好像)。最小二乘理论其实很简单，用途也很... 查看详情
理解最小二乘法
最小二乘法辨识 最小二乘法-矩阵求导求解 最小二乘法的一般形式和矩阵形式原理推导和代码实现 查看详情
梦开始的地方，从最小二乘法开始学机器学习(代码片段)
梦开始的地方，从最小二乘法开始学机器学习从这篇博客开始，我们将逐步实现不同的机器学习代码，以此来深入学习了解不同的机器学习背后的原理~文章目录梦开始的地方，从最小二乘法开始学机器学习00.参考... 查看详情
梦开始的地方，从最小二乘法开始学机器学习(代码片段)
梦开始的地方，从最小二乘法开始学机器学习从这篇博客开始，我们将逐步实现不同的机器学习代码，以此来深入学习了解不同的机器学习背后的原理~文章目录梦开始的地方，从最小二乘法开始学机器学习00.参考... 查看详情
最小二乘法小结
原帖地址：http://www.cnblogs.com/pinard/p/5976811.html最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法... 查看详情
最小二乘法小结
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 ... 查看详情
最小二乘法小结
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题 最小二乘... 查看详情
最小二乘法
最小二乘法 最小化误差的平方。对于式子，y(i)是真值，ax(i)-b是预测值。将两者差的平方和最小化，就是最小二乘法解决的问题。x_bar：x向量对应的均值推导过程： 查看详情
《linearalgebraanditsapplications》-chaper6-正交性和最小二乘法-最小二乘问题
最小二乘问题： 结合之前给出向量空间中的正交、子空间W、正交投影、正交分解定理、最佳逼近原理，这里就可以比较圆满的解决最小二乘问题了。 首先我们得说明一下问题本身，就是在生产实践过程中，对... 查看详情
最小二乘法
目录最小二乘法 不同厂家的尺子的生产精度不同尺子材质不同，热胀冷缩不一样测量的时候心情起伏不定这样做有道理吗？用调和平均数行不行？用中位数行不行？用几何平均数行不行？最小二乘法 查看详情
算法#03--具体解释最小二乘法原理和代码
最小二乘法原理最小二乘法的目标：求误差的最小平方和，相应有两种：线性和非线性。线性最小二乘的解是closed-form（例如以下文），而非线性最小二乘没有closed-form，通经常使用迭代法求解（如高斯牛顿迭代法，本文不作介... 查看详情
最小二乘法（leastsquares）简介
原文链接：最小二乘法(LeastSquares)简介最小二乘法（LeastSquares）详细介绍|数据学习者官方网站(Datalearner) 最小二乘法（LeastSquares）是回归分析中的一种标准方法，它是用来近似超定系统（OverdeterminedS... 查看详情
最小二乘法理解
...;原文：https://blog.csdn.net/bitcarmanlee/article/details/51589143 最小二乘是每个上过大学的同学都接触过的概念与知识点(当然可能纯文科的同学没接触过，但是一般纯文科的同学也不会看这篇文章好像)。最小二乘理论其实很简单，用... 查看详情
线性回归——最小二乘法
...ession），本篇文章详细将讲解单变量线性回归并写出使用最小二乘法（leastsquaresmethod）来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行线性回归拟合；线性回归 线性... 查看详情
最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法... 查看详情
浅谈最小二乘法
参考技术A最小二乘法是回归分析的一种标准方法，它通过最小化每个方程式结果中的残差平方和来近似超定系统（方程组多于未知数的方程组）。回归分析（regressionanalysis)指的是确定两种或两种以上变量间相互依赖的定量关系... 查看详情