正文

机器学习梯度下降法应用波士顿房价预测(代码片段)

赵广陆  赵广陆  2022-12-02  288

关键词：

1 线性回归api介绍

机器学习梯度下降算法：https://blog.csdn.net/ZGL_cyy/article/details/127037949

sklearn.linear_model.LinearRegression(fit_intercept=True)
- 通过正规方程优化
- 参数
  - fit_intercept：是否计算偏置
- 属性
  - LinearRegression.coef_：回归系数
  - LinearRegression.intercept_：偏置
sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
- SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
- 参数：
  - loss:损失类型
    - loss=”squared_loss”: 普通最小二乘法
  - fit_intercept：是否计算偏置
  - learning_rate : string, optional
    - 学习率填充
    - ‘constant’: eta = eta0
    - ‘optimal’: eta = 1.0 / (alpha * (t + t0))
    - ‘invscaling’: eta = eta0 / pow(t, power_t)[default]
      - power_t=0.25:存在父类当中
    - 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
- 属性：
  - SGDRegressor.coef_：回归系数
  - SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API，可以根据选择使用

小结

正规方程
- sklearn.linear_model.LinearRegression()
梯度下降法
- sklearn.linear_model.SGDRegressor(）

2 波士顿房价预测

2.1 案例背景介绍

数据介绍

给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只需要使用这些特征。到后面量化很多特征需要我们自己去寻找

2.2 案例分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

数据分割与标准化处理
回归预测
线性回归的算法效果评估

2.3 回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：

注：yi为预测值，为真实值

思考：MSE和最小二乘法的区别是？

sklearn.metrics.mean_squared_error(y_true, y_pred)
- 均方误差回归损失
- y_true:真实值
- y_pred:预测值
- return:浮点数结果

2.4 代码实现

2.4.1 正规方程

def linear_model1():
    """
    线性回归:正规方程
    :return:None
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.机器学习-线性回归(正规方程)
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\\n", y_predict)
    print("模型中的系数为:\\n", estimator.coef_)
    print("模型中的偏置为:\\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\\n", error)

    return None

2.4.2 梯度下降法

def linear_model2():
    """
    线性回归:梯度下降法
    :return:None
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.机器学习-线性回归(特征方程)
    estimator = SGDRegressor(max_iter=1000)
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\\n", y_predict)
    print("模型中的系数为:\\n", estimator.coef_)
    print("模型中的偏置为:\\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\\n", error)

    return None

我们也可以尝试去修改学习率

estimator = SGDRegressor(max_iter=1000,learning_rate="constant",eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。

2.5 小结

正规方程和梯度下降法api在真实案例中的使用
线性回归性能评估
- 均方误差

正规方程，梯度下降，岭回归——机器学习(代码片段)

...;mini-batch）2.4随机平均梯度下降算法（SAG）三.波士顿房价预测——正规方程（查看详情

一元线性回归-梯度下降法-房价预测(代码片段)

数据32.502345269453031,31.7070058465699253.426804033275019,68.7775959816389161.530358025636438,62.56238229794580347.475639634786098,71.54663223356777759.813207869512318,87.23092513368739355.142188413943 查看详情

梯度下降法预测波士顿放假问题(代码片段)

下面是一个梯度下降法对多元问题的求解：1importnumpyasnp2importmatplotlib.pyplotasplt3plt.rcParams[‘font.sans-serif‘]=[‘Simhei‘]45area=np.array([137.97,104.50,100.00,124.32,79.20,... 查看详情

机器学习实战二：波士顿房价预测bostonhousing(代码片段)

波士顿房价预测Bostonhousing这是一个波士顿房价预测的一个实战，上一次的Titantic是生存预测，其实本质上是一个分类问题，就是根据数据分为1或为0，这次的波士顿房价预测更像是预测一个连续值，当然这也是... 查看详情

线性回归案例：波士顿房价预测(代码片段)

波士顿房价预测1.背景介绍2.案例分析3.回归性能评估4.代码实现4.1正规方程4.2梯度下降法5.小结1.背景介绍数据介绍给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只... 查看详情

波士顿房价预测——机器学习入门级案例(代码片段)

一、数据处理1.1数据集介绍本实验使用波士顿房价预测数据集，共506条样本数据，每条样本包含了13种可能影响房价的因素和该类房屋价格的中位数，各字段含义如下表所示：字段名类型含义CRIMfloat该镇的人均犯... 查看详情

机器学习：随机梯度下降法（线性回归中的应用）(代码片段)

一、随机梯度下降法基础 #梯度中的每一项计算：，要计算所有样本（共m个）； #批量梯度下降法的思路：计算损失函数的梯度，找到优化损失函数的最近距离，或者称最直接的方向；　　#批量梯度下降法的梯度计算：... 查看详情

斯坦福公开课-机器学习2.监督学习应用-梯度下降（吴恩达andrewng）(代码片段)

文章目录1线性代数（linearalgebra）1-1符号（Notation）1-2例子——房价预测1-3假设函数（hypothesis）1-3-3用`线性代数-非齐次方程`解释参数**1-普通梯度下降算法****2-批梯度下降算法（batchgradientdescentalgo... 查看详情

机器学习工程师-udacity项目1:预测波士顿房价(代码片段)

第一步.导入数据在这个项目中，你将利用马萨诸塞州波士顿郊区的房屋信息数据训练和测试一个模型，并对模型的性能和预测能力进行测试。通过该数据训练后的好的模型可以被用来对房屋做特定预测---尤其是对房屋的价值。... 查看详情

深度学习入门案例波士顿房价预测(代码片段)

人工智能，机器学习，深度学习做个简单介绍：三者的关系如图1所示，即：人工智能>机器学习>深度学习。深度学习设计框架：环境查看importpaddleimportnumpyasnpimportosimportmatplotlibimportmatplotlib.pyplotaspltimpor... 查看详情

hcia-ai_机器学习_波士顿房价预测(代码片段)

机器学习实验-波士顿房价预测1波士顿房价预测1.2实验代码1.2.1引入依赖包1.2.2加载数据集，查看数据属性，可视化1.2.3分割数据集，并对数据集进行预处理1.2.4利用各类回归模型，对数据集进行建模1.2.5利用网格搜... 查看详情

斯坦福公开课-机器学习2.监督学习应用-梯度下降（吴恩达andrewng）(代码片段)

机器学习之利用线性回归预测波士顿房价和可视化分析影响房价因素实战（python实现附源码超详细）(代码片段)

...据是否在一定时期内增长或下降。接下来以线性回归预测波士顿房价进行实战解析线性回归代码如下importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_split#读数据data=np.loadtxt(boston_house_price.csv',float,delimiter... 查看详情

机器学习实战——用线性回归预测波士顿房价

查看详情

机器学习：梯度下降

...um什么是梯度下降?梯度下降法是一种减少成本函数的迭代机器学习优化算法，使我们的模型能够做出准确的预测。成本函数(C)或损失函数度量模型的实际输出和预测输出之间的差异。成本函数是一个凸函数。为什么我们需要梯度... 查看详情

机器学习100天（十四）：014梯度下降算法求解线性回归

机器学习100天，今天讲的是：使用梯度下降算法求解线性回归问题。一、梯度下降更新公式之前我们介绍了正规方程法直接求解线性回归问题，但是梯度下降算法在机器学习中更为常用，因为面对复杂问题时，梯度下降算法能够... 查看详情

机器学习100天（十四）：014梯度下降算法求解线性回归

机器学习-线性回归算法（房价预测项目）(代码片段)

文章目录简介损失函数优化算法正规方程梯度下降项目实战前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。简介线性回归（LinearRegression）是回归... 查看详情