机器学习——线性回归(代码片段)

siplips siplips     2023-01-05     553

关键词:

导入类库

 1 from sklearn.externals import joblib
 2 from sklearn.model_selection import train_test_split
 3 from sklearn.datasets import load_boston
 4 from sklearn.preprocessing import StandardScaler
 5 from sklearn.linear_model import LinearRegression
 6 from sklearn.metrics import r2_score
 7 from sklearn import neighbors
 8 import pandas as pd
 9 import numpy as np
10 import seaborn as sns
11 import matplotlib.pyplot as plt
12 import sklearn.preprocessing as sp
13 import sklearn.pipeline as pl

小知识

1 # np.column_stack:取行排列数组
2 # np.vstack:取列排列数组
3 # a = np.array([1,2])
4 # b = np.array([3,4])
5 # print(np.vstack((a,b)))
6 # array([[1, 2],[3, 4]])
7 # print(np.column_stack((a,b)))
8 # array([[1, 3],[2, 4]])

获取波士顿房价数据

1 # 获取波士顿房价数据
2 lb = load_boston()
3 # 将房价数据转换为每行包括影响因素和房价的DataFrame
4 df = pd.DataFrame(np.column_stack((lb.data, lb.target)),
5                   columns=[CRIM, ZN, INDUS, CHAS, NOX, RM, AGE, DIS, RAD,
6                            TAX, PTRATIO, B, LSTAT, MEDV])
7 cols = [LSTAT, INDUS, NOX, RM, MEDV]
8 print(df)
9 print(df[cols])

多变量图

 1 def pairplot_analyse():
 2     ‘‘‘
 3     style:whitegrid-白色网格图   darkgrid-黑色网格图  ticks-散点图   dark white
 4     context:notebook    paper   talk    poster      # size: paper < talk < poster < notebook
 5     palette:调色板
 6     kind:使用回归
 7     diag_kind:改变对角图
 8     markers:改变点形状
 9     :return:
10     ‘‘‘
11     sns.set(style=dark, context=notebook)
12     sns.pairplot(df[cols], height=2, palette=husl, kind=reg, diag_kind=kde, markers=+)
13     plt.tight_layout()
14     plt.show()

热点图

 1 def heatmap_analyse():
 2     ‘‘‘
 3     cbar:柱子
 4     annot:标记
 5     square:方形
 6     fmt:数据格式
 7     yticklabels:y轴标签
 8     xticklabels:x轴标签
 9     :return:
10     ‘‘‘
11     # 计算皮尔逊相关系数
12     corr = np.corrcoef(df[cols].values.T)
13     # 生成热点图
14     hm = sns.heatmap(corr, cbar=True, annot=True, square=True, fmt=.2f, annot_kws=size: 15, yticklabels=cols,
15                      xticklabels=cols)
16     plt.show()

 

回归方法是一种对数值型连续随机变量进行预测和建模的监督学习算法。使用案例一般包括房价预测、股票走势或测试成绩等连续变化的案例;

回归任务的特点是标注的数据集具有数值型的目标变量。也就是说,每一个观察样本都有一个数值型的标注真值以监督算法。

线性回归

 1 def bostn_linear():
 2     ‘‘‘
 3     线性回归直接预测房子价格
 4     :return:
 5     ‘‘‘
 6 
 7     # 获取数据
 8     lb = load_boston()
 9 
10     # 分割数据集为训练集和测试集 test_size:分割比例
11     x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)
12 
13     # print(y_train, y_test)
14     # 特征值和目标值是都必须进行标准化处理,实例化两个标准化API
15     std_x = StandardScaler()
16 
17     x_train = std_x.fit_transform(x_train)
18     # 用转化训练集的标准归一化测试集:上是fit_transform,下是transform
19     x_test = std_x.transform(x_test)
20 
21     # 目标值
22     std_y = StandardScaler()
23     # -1表示自动识别行数
24     y_train = std_y.fit_transform(y_train.reshape(-1, 1))
25     y_test = std_y.transform(y_test.reshape(-1, 1))
26 
27     # estimator
28     # 正规方程求解方式预测结果
29     # 创建线性回归对象
30     lr = LinearRegression()
31     # 训练数据
32     lr.fit(x_train, y_train)
33     print(lr.coef_)  # 权值
34 
35     # 保存训练好的模型
36     joblib.dump(lr, ./test.pkl)
37 
38     # 预测测试集的房子价格
39     # y_lr_predict = std_y.inverse_transform(lr.predict(x_test))
40     orgin = std_y.inverse_transform(y_test[3])  # 转换成原格式
41     print(orgin value is:::::, orgin)
42     y_lr_predict = std_y.inverse_transform(lr.predict(np.array([x_test[3]])))  # predict参数是二维数组
43 
44     print(正规方程测试集里面每个房子的预测价格:, y_lr_predict)
45     # print(‘正规方程R2评分:‘, r2_score(std_y.inverse_transform(y_test), y_lr_predict))
46     # print(‘正规方程R2评分:‘, r2_score(orgin, y_lr_predict))     #r2_score,参数1:原测试数据,参数2:预测数据

 

原图像与预测图像对比

 1 def log_fit():
 2     x = np.linspace(0, 20, 50)
 3     y = x ** 3 + np.random.random(50, ) * 100
 4     # pf = sp.PolynomialFeatures(3)
 5 
 6     lr = LinearRegression()
 7     # modle = pl.make_pipeline(pf,lr)
 8     lr.fit(x.reshape(-1, 1), y)
 9     x_predict = lr.predict(x.reshape(-1, 1))
10     print(x_predict)
11 
12     plt.scatter(x, y)  # 曲线:原曲线
13     plt.scatter(x, x_predict, c=r)  # 直线:预测曲线
14     plt.show()

房价预测实例

 1 def test_fj():
 2     X = np.array([[500, 3, 0.3], [1000, 1, 0.6], [750, 2, 0.3], [600, 5, 0.2], [1200, 1, 0.6]], dtype=float)
 3     Y = np.array([10000, 9000, 8000, 12000, 8500], dtype=float)
 4 
 5     x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size=0.25)
 6     print(x_train, x_test)
 7     print(===================================================)
 8     print(y_train, y_test)
 9 
10     std_x = StandardScaler()
11     x_train = std_x.fit_transform(x_train)
12     x_test = std_x.transform(x_test)
13 
14     std_y = StandardScaler()
15     y_train = std_y.fit_transform(y_train.reshape(-1, 1))
16     y_test = std_y.transform(y_test.reshape(-1, 1))
17 
18     lr = LinearRegression()
19     lr.fit(x_train, y_train)
20     print(lr.coef_)
21 
22     # orign = std_y.inverse_transform(y_test[1])
23     # print(‘orign is value:::::‘,orign)
24     # y_lr_predict = std_y.inverse_transform(lr.predict(np.array([x_test[1]])))
25     y_lr_predict = std_y.inverse_transform(lr.predict(x_test))
26 
27     print(房价:, y_lr_predict)
28     print(评分:, r2_score(std_y.inverse_transform(y_test), y_lr_predict))
29 
30 
31 def price_predict():
32     # 数据有三个特征:距离地铁距离、附近小学、小区绿化率
33     X = np.array([[500, 3, 0.3], [1000, 1, 0.6], [750, 2, 0.3], [600, 5, 0.2], [1200, 1, 0.6]], dtype=float)
34     # 具有三个特征的房屋对应的房价
35     Y = np.array([10000, 9000, 8000, 12000, 8500], dtype=float)
36 
37     std_x = StandardScaler()
38     x_train = std_x.fit_transform(X)
39 
40     std_y = StandardScaler()
41     y_train = std_y.fit_transform(Y.reshape(-1, 1))
42     # 构建线性预测模型
43     lr = LinearRegression()
44     # 模型在历史数据上进行训练,Y.reshape(-1,1)将Y变为二维数组,fit函数参数要求是二维数组
45     lr.fit(x_train, y_train.reshape(-1, 1))
46     # 使用训练模型预测新房屋价格
47     distance = input(请输入新房屋距离地铁的距离:)
48     school = input(请输入附近小学数量:)
49     green = input(请输入小区绿化率:)
50     x_predict = std_x.transform(np.array([[distance, school, green]], dtype=float))
51     print(std_y.inverse_transform(lr.predict(x_predict)))
52     # print(lr.predict(np.array([[distance, school, green]], dtype=float)))
53     # print(lr.predict(np.array([[1300, 3, 0.4]])))
54 
55 
56 if __name__ == __main__:
57     pairplot_analyse()
58     # heatmap_analyse()
59     # bostn_linear()
60     # log_fit()
61     # test_fj()
62     # price_predict()
63     pass

 

 线性回归的几个特点: 
1. 建模速度快,不需很复杂的计算,数据量大的情况下依然运行速度很快; 
2. 可以根据系数给出每个变量的理解和解释 ;
3. 对异常值敏感。

 




线性回归模型|机器学习(代码片段)

目录1.线性回归模型1.1一元线性回归模型1.2多元线性回归模型1.3损失函数2.相关代码2.1LinearRegression类2.2求解代码2.3绘图代码1.线性回归模型1.1一元线性回归模型简单的讲,一元线性模型就是指只有一个特征量,然后对应带... 查看详情

机器学习一般线性回归(代码片段)

...归"模型。 0.概述线性回归应该是我们听过次数最多的机器学习算法了。在一般的统计学教科书中,最后都会提到这种方法。因此该算法也算是架起了数理统计与机器学习之间的桥梁。线性回归虽然常见,但是却并不简单。该... 查看详情

机器学习导论————线性回归(linerregression)(代码片段)

机器学习导论————线性回归(LinerRegression)一、线性回归的应用场景监督学习-目标值连续房价预测销售额预测贷款额度预测二、什么是线性回归2.1定义与公式线性回归(LinearRegression)是利用回归方程(函数)对... 查看详情

机器学习—线性回归(代码片段)

一、原理部分:只能图片形式展现了~~~二、Python手工实现线性回归importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltclasslinear_regression(object):#计算均方误差损失defcompute_loss(self,y,y_hat):returnnp.average((y-y_hat)**2)#梯度下降算 查看详情

机器学习线性回归api快速入门(代码片段)

目录1线性回归API2举例2.1步骤分析2.2代码过程3小结1线性回归API机器学习线性回归简介:https://blog.csdn.net/ZGL_cyy/article/details/126918295sklearn.linear_model.LinearRegression()LinearRegression.coef_:回归系数2举例2.1步骤分析1.获取数据 查看详情

机器学习——线性回归(代码片段)

导入类库1fromsklearn.externalsimportjoblib2fromsklearn.model_selectionimporttrain_test_split3fromsklearn.datasetsimportload_boston4fromsklearn.preprocessingimportStandardScaler5fromsklearn.linear_modelimp 查看详情

机器学习入门:多变量线性回归(代码片段)

...的两个小技巧。本文分享自华为云社区《【跟着小Mi一起机器学习吧!】多变量线性回归(一)》,原文作者:Skytier。1 多维特征既然是多变量线性回归,那么肯定是存在多个变量或者多个特征的情况啦。就拿之前研究的线... 查看详情

机器学习模型和算法(代码片段)

文章目录python简介python基本语法监督学习--回归模型线性回归模型一元线性回归线性回归最小二乘代码实现多元线性回归梯度下降法和最小二乘法相比线性回归梯度下降代码实现非线性回归python简介略python基本语法文件开头加上#... 查看详情

机器学习-8.线性回归(代码片段)

1.概述定义:线性回归通过一个或多个自变量(理解为特征)与因变量(理解为目标值)之间进行建模的回归分析。其中可以为一个或多个自变量之间的线性组合(线性回归的一种)。一元线性回归:涉及到的变量只有... 查看详情

机器学习-线性回归(代码片段)

线性回归简介:之前的文章中介绍过一种回归算法,梯度下降算法,这里再看看另外一个回归算法,线性回归,主要的内容包括简单的线性回归和局部加权回归算法。在回归里面需要考虑的问题就是,我如... 查看详情

机器学习入门三------线性回归(代码片段)

...方法。本模块会先直观介绍线性回归,为介绍线性回归的机器学习方法奠定基础。人们早就知晓,相比凉爽的天气,蟋蟀在较为炎热的天气里鸣叫更为频繁。数十年来,专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据... 查看详情

机器学习sklearn监督学习回归算法线性回归linearregression(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportlinear_model#设置中文字体plt.rcParams['font.sans-serif']='SimHei'plt.rcParams['axes.unicode_minus']=False#设置自变量和因变 查看详情

机器学习--线性回归的原理与基础实现(代码片段)

文章目录一、一元线性回归的实现1.1原理1.2Python底层实现一元线性回归二、多元线性回归的实现2.1参考文献2.2代码实现2.3相关性分析三、第三方库实现线性回归四、线性回归案例4.1回归知识复习4.2案例编写一、一元线性回归的实... 查看详情

机器学习基石线性回归(代码片段)

目录写在前面1.线性回归问题2.求解最小的Ein(w)E_in(w)Ein​(w)对应的www3.泛化问题4.与线性分类的对比写在前面本节主要介绍了线性回归原理以及它的可行性,最后与前面学过的线性分类进行了对比分析。1.线性回归问题∙\\bullet... 查看详情

机器学习:局部加权线性回归(locallyweightedlinearregression)(代码片段)

线性回归先复习一下线性回归的损失函数:我们的目标是使该函数最小,用矩阵表示为:对参数w求导得:令上式等于0可估计出回归系数w得最优解:但线性回归往往容易欠拟合,除了使用更复杂得函数拟合... 查看详情

sklearn实现一元线性回归python机器学习系列(代码片段)

sklearn实现一元线性回归【Python机器学习系列(五)】文章目录1.获取数据2.线性回归模型大家好,我是侯小啾! 本期blog分享的内容是通过sklearn库实现一元线性回归。相比上篇blog中介绍的梯度下降法中较为复杂... 查看详情

机器学习1-概述(代码片段)

机器学习包含监督学习、非监督学习、以及强化学习三大部分。监督学习分为分类和回归两大类。分类:例如经过大量水果图片训练,识别新水果图片中是否含有苹果回归:例如经过大量面积-房价的数据的训练,预测某个面积... 查看详情

机器学习100天:008简单线性回归python实战(代码片段)

机器学习100天,今天讲的是:简单线性回归Python实战——房价预测。上一节课,我们通过引入房价预测的例子,讲解了线性回归的理论知识,以及如何最小化损失函数,来计算最优的参数www。今天我们就使用Python来编写一个简单... 查看详情