机器学习之线性回归算法

关键词：

import math
import numpy as np
import matplotlib.pyplot as plt

from sklearn.preprocessing import PolynomialFeatures  # 多项式拟合
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline   #创建流水线
from sklearn.metrics import mean_squared_error  #计算误差


# 创建拟合模型
def polynomial_model(degree=2):
    # 这是一个流水线，先增加多项式阶数，然后再用线性回归算法来拟合数据
    return Pipeline([("polynomial_features", PolynomialFeatures(degree=degree, include_bias=False)),
                     ("linear_regression", LinearRegression(normalize=True))])


if __name__ == ‘__main__‘:
    print(‘33[5;31;2m%s33[0m‘ % ‘1、线性回归算法的应用‘)
    print("（1）首先，生成200个在[-2∏, 2∏]区间内的正弦函数上的点，并且给这些点加上一些随机的噪声。")
    pi = math.pi
    x = np.linspace(-2 * pi, 2 * pi, 200)
    y = np.sin(x) + 0.2 * np.random.rand(200) - 0.1
    x = x.reshape(-1, 1)
    y = y.reshape(-1, 1)
    # 显示点的效果
    # plt.scatter(x, y)
    # plt.show()
    print("生成数据完成")

    print("（2）接着，使用PolynomialFeatures和Pipeline创建一个多项式拟合模型，分别用2、3、5、10阶多项式来拟合数据集。")
    models = []
    for d in [2, 3, 5, 10]:
        model = polynomial_model(degree=d)
        model.fit(x, y)
        models.append(‘model‘: model, ‘degree‘: d)
    print("创建完成")

    print("（3）算出每个模型拟合的评分，然后使用mean_squared_error算出均主根误差，即实际点和模型预测的点之间的距离，均主根误差越小说明模型拟合效果 真好 。")
    for model in models:
        degree = model[‘degree‘]
        model = model[‘model‘]
        score = model.score(x, y)
        mse = mean_squared_error(y, model.predict(x))
        print("degree = %d, score=%f, mse=%f" % (degree, score, mse))

    print("（4）最后，请把不同模型的拟合效果在二维坐标上画出来，从而可以清楚对比不同除数的多项式的拟合效果。")
    plt.scatter(x, y)
    legends = []
    for model in models:
        degree = model[‘degree‘]
        model = model[‘model‘]
        legends.append(‘degree=‘+str(degree))
        plt.plot(x, model.predict(x))
    legends.append(‘scatter‘)
    plt.legend(legends)
    plt.title("Rakers")
    plt.show()

机器学习之线性回归

1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情

机器学习之线性回归

1.线性回归简述在统计学中，线性回归（LinearRegression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变... 查看详情

机器学习之logistic回归算法

1Logistic回归算法的原理1.1需要的数学基础我在看机器学习实战时对其中的代码非常费解，说好的利用偏导数求最值怎么代码中没有体现啊，就一个简单的式子：θ=θ - α Σ[(hθ(x(i))-y(i) )]*xi。经过查找资料才知道，... 查看详情

机器学习之线性回归岭回归lasso回归(代码片段)

1、回归算法分类算法的目标值是标称型数据，而回归的目标变量是连续型数据，主要包括线性回归，岭回归，lasso回归，前向逐步回归。2、线性回归线性回归主要用于处理线性数据，结果易于理解，计算复杂度不高，但是处理... 查看详情

20171028机器学习之线性回归过拟合问题的解决方案

在函数中加入一个正则项： 三种方式：一、Ridge回归（岭回归）：　　优点：具有较高的准确性、鲁棒性以及稳定性　　缺点：求解速度慢二、Lasso回归：　　优点：求解速度快（原理降维计算，把数据维度中存在的噪音和... 查看详情

机器学习之线性回归概念总结速记

目录线性回归简介线性回归应用场景线性回归定义线性回归模型线性回归初步使用步骤分析代码过程线性回归的损失和优化损失函数优化算法正规方程梯度下降梯度的概念梯度下降和正规方程的对比算法选择依据欠拟合和过拟合... 查看详情

机器学习之线性回归以及logistic回归

1、线性回归回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。对于普通线性回归使用的损失函数... 查看详情

4.机器学习之逻辑回归算法

理论上讲线性回归模型既可以用于回归，也可以用于分类。解决回归问题，可以用于连续目标值的预测。但是针对分类问题，该方法则有点不适应，因为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类... 查看详情

机器学习之一元线性回归模型

一元线性回归模型样本数量m           输入变量x              输出变量y    &nb 查看详情

机器学习之逻辑回归

1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？逻辑回归又称逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域；与线性回归相比大致有两大不同：①... 查看详情

机器学习之理论篇—线性模型

机器学习之理论篇—线性模型2016-05-02 雷厉风行 机器学习与大数据算法线性模型是机器学习中的最基本模型，其形式简单、易于建模。线性回归模型虽然简单，但却非常的实用，许多非线性模型也都是建立在线性模型的... 查看详情

机器学习之线性回归---logistic回归---softmax回归

1摘要     本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学... 查看详情

机器学习之回归简介

线性回归综述目的是找到一个映射，最能反映二者之间的关系。用来预测当有新的样本输入的时候，输入的结果线性回归处理的变量必须是连续的。欠拟合&过拟合过拟合跟欠拟合是ml算法表现差的两大原因欠拟合：... 查看详情

javascript机器学习之线性回归

译者按:AI时代，不会机器学习的JavaScript开发者不是好的前端工程师。原文:MachineLearningwithJavaScript:Part1译者:Fundebug为了保证可读性，本文采用意译而非直译。另外，本文版权归原作者所有，翻译仅用于学习。使用JavaScript做机器学... 查看详情

机器学习之线性回归(代码片段)

文章目录评价方法一元线性回归np.polyfit求解带入公式求解化简公式求解lstsq求解多元线性回归代码实现一元多项式回归代码实现参考评价方法回归问题有很多的评价方法。这里主要想写一下R^2的计算方法。需要计算R^2需要先弄清... 查看详情

菜鸟之路——机器学习之非线性回归个人理解及python实现(代码片段)

关键词：梯度下降：就是让数据顺着梯度最大的方向，也就是函数导数最大的放下下降，使其快速的接近结果。Cost函数等公式太长，不在这打了。网上多得是。这个非线性回归说白了就是缩小版的神经网络。python实现：1importnump... 查看详情

机器学习之线性回归(代码片段)

目录预测数值型数据：回归用线性回归找到最佳拟合直线程序8-1标准回归函数和数据导入函数程序8-2基于程序8-1绘图图片8-1ex0的数据集和它的最佳拟合直线局部加权线性回归图片8-2参数k与权重的关系程序8-3局部加权线性回归函... 查看详情

机器学习之k-means算法

前言      以下内容是个人学习之后的感悟，转载请注明出处~  简介　　在之前发表的线性回归、逻辑回归、神经网络、SVM支持向量机等算法都是监督学习算法，需要样本进行训练，且样本的类别是... 查看详情