正文

机器学习：r语言中如何使用最小二乘法

积跬步以前行  积跬步以前行  2022-08-24  425

关键词：

详细内容见上一篇文章：http://www.cnblogs.com/lc1217/p/6514734.html

这里只是介绍下R语言中如何使用最小二乘法解决一次函数的线性回归问题。

代码如下：(数据同上一篇博客)(是不是很简单????)

> x<-c(6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2)
> y<-c(5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3)
> lsfit(x,y)

结果如下：

$coefficients
Intercept         X 
0.8310557 0.9004584

说明： Intercept ：截距

X：变量x的系数

即对于一元一次函数截距式方程：y=0.9x+0.83

结果同上一篇博客的计算结果(python)：

输出结果：
      k= 0.900458420439 b= 0.831055638877
      cost：1
      求解的拟合直线为:
      y=0.9x+0.83

如果你不追求绘图的美观，可以简单的直接用R绘制散点图观察规律也是可以的（当然也是可以通过设置参数调美观点的）。

> plot(x,y)  ###x,y是上面已经赋值过的数据

结果如图：

下面我们接着调整目标函数及样本数据：

目标函数：y=ax²+bx+c

> x<-c(1,2,3,4,5,6)
> y<-c(9,18,31,48,69,94)
> lsfit(x,y)
$coefficients
Intercept         X 
-14.66667  17.00000

从结果可以看出，求解的依然是y=kx+b形式的函数。

而调整python中的代码(完整代码见下面的连接)：

def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

p0=[10,10,10]

#读取结果
a,b,c=Para[0]
print("a=",a,"b=",b,"c=",c)
print("cost："+str(Para[1]))
print("求解的拟合直线为:")
print("y="+str(round(a,2))+"x*x+"+str(round(b,2))+"x+"+str(c))

a= 2.0 b= 3.0 c= 4.0
cost：2
求解的拟合直线为:
y=2.0x*x+3.0x+4.0

通过对比看出，python scipy库中的leastsq函数通用性还是比较高的。

目标函数：y=ax²+bx+c的非线性回归的拟合过程，见：机器学习:形如抛物线的散点图在python和R中的非线性回归拟合方法

机器学习-最小二乘法

最小二乘法是机器学习中的基础知识点，一致对最小二乘法的理解不够深入，今天就花点时间来深入理解和探讨一下最小二乘法最小二乘法，又称最小平方法，基本公式通俗来讲，二者先取个差值，在来个平方，最后搞一个和号... 查看详情

机器学习-最小二乘法

一、引言这段时间学习《机器学习》，学到第5章的“Logistic回归”，感觉相当吃力。追本溯源，从“Logistic回归”到“线性回归”，再到“最小二乘法”。最终定格到了《高等数学》（第六版·下册）第九章第10节“最小二乘法”... 查看详情

机器学习-线性回归（基于r语言）

基本概念利用线性的方法，模拟因变量与一个或多个自变量之间的关系。自变量是模型输入值，因变量是模型基于自变量的输出值。因变量是自变量线性叠加和的结果。线性回归模型背后的逻辑——最小二乘法计算线... 查看详情

机器学习之用python实现最小二乘法预测房价，进行额度预测

使用最小二乘法进行房价预测：给定训练样本集合如下：求解：当房屋面积为55平方时，租赁价格是多少？给出代码与运行结果图。首先明白什么是最小二乘法，利用最小二乘法公式p=(X^TX)^-1X^TYimportnumpyasnpfromnumpyimportmatimportmatplot... 查看详情

机器学习白板，最小二乘法，线性回归，矩阵表达

机器学习-白板推导系列(三)-线性回归（LinearRegression）_哔哩哔哩_bilibili目录最小二乘法，线性回归几何意义讲解查看详情

关于机器学习中的最小二乘法相关推导

650)this.width=650;"src="https://s3.51cto.com/wyfs02/M02/07/D4/wKiom1nRoBLjofwDAADP_oNshh4151.png"style="float:none;"title="1.png"alt="wKiom1nRoBLjofwDAADP_oNshh4151.png"/>650)this.width=650;"src="htt 查看详情

机器学习线性回归——最小二乘法的几何意义

查看详情

机器学习线性回归——最小二乘法（理论+图解+公式推导）

查看详情

梦开始的地方，从最小二乘法开始学机器学习(代码片段)

梦开始的地方，从最小二乘法开始学机器学习从这篇博客开始，我们将逐步实现不同的机器学习代码，以此来深入学习了解不同的机器学习背后的原理~文章目录梦开始的地方，从最小二乘法开始学机器学习00.参考... 查看详情

梦开始的地方，从最小二乘法开始学机器学习(代码片段)

spark机器学习(10)：als交替最小二乘算法

...rnatingLeastSquareALS(AlternatingLeastSquare)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。如下图所示，u表示用户，v表示商品，用户给商品打分，但是并不是每一个用户都会给每一种商品打分。比如用户u... 查看详情

《机器学习——数学公式推导合集》1.最小二乘法（leastsquaremethod）求解线性模型

1.1什么是最小二乘法（leastsquaremethod）最小二乘法：基于均方误差最小化来进行模型求解的方法称为“最小二乘法（leastsquaremethod）”。1.2线性模型（linearmodel）基本形式线性模型（linearmodel）试... 查看详情

《机器学习——数学公式推导合集》1.最小二乘法（leastsquaremethod）求解线性模型

机器学习理论基础学习2——线性回归

1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3.L2正则化--- 岭回归 4.从概率的角度看正... 查看详情

最小二乘法小结

...最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题　　　　　最小二乘法... 查看详情

最小二乘法小结

...最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。　　1.最小二乘法的原理与要解决的问题　　　　　最小二... 查看详情

最小二乘法小结

一看就会(废)的最小二乘法的推导

... 最小二乘法可以用来做函数的拟合或者求函数极值。在机器学习的回归模型中，我们经常使用最小二乘法。我们先举一个小例子来走进最小二乘法。某次实验得到了四个数据点\\((x,y):(1,6)、(2,5)、(3,7)、(4,10)\\)(下图中红色... 查看详情