关键词：
我相信很多人跟我一样，学习机器学习和数据科学的第一个算法是线性回归，它简单易懂。由于其功能有限，它不太可能成为工作中的最佳选择。大多数情况下，线性回归被用作基线模型来评估和比较研究中的新方法。
在处理实际问题时，你应该了解并尝试许多其他回归算法。一方面可以系统学习回归算法，另外一方面在面试中也常用到这些算法。在本文中，我们将通过使用 Scikit-learn 和 XGBoost 的动手实践来学习 9 种流行的回归算法。 喜欢本文记得收藏、关注、点赞。
【注】文末有技术交流群
结构如下：
- 线性回归
- 多项式回归
- 支持向量机回归
- 决策树回归
- 随机森林回归
- LASSO 回归
- Ridge 回归
- ElasticNet 回归
- XGBoost 回归
推荐文章
线性回归
线性回归通常是人们学习机器学习和数据科学的第一个算法。线性回归是一种线性模型，它假设输入变量 (X) 和单个输出变量 (y) 之间存在线性关系。 一般来说，有两种情况：
- 单变量线性回归：它对单个输入变量（单个特征变量）和单个输出变量之间的关系进行建模。
- 多变量线性回归（也称为多元线性回归）：它对多个输入变量（多个特征变量）和单个输出变量之间的关系进行建模。
这个算法很常见，以至于 Scikit-learn 在 LinearRegression() 中内置了这个功能。 让我们创建一个 LinearRegression 对象并将其拟合到训练数据中：
from sklearn.linear_model import LinearRegression
# Creating and Training the Model
linear_regressor = LinearRegression()
linear_regressor.fit(X, y)
训练完成后，我们可以在 coef_ 属性中检查 LinearRegression 找到的系数参数：
linear_regressor.coef_
array([[-0.15784473]])
现在采用该模型并为训练数据拟合一条线
关于线性回归的几个关键点：
- 快速且易于建模
- 当要建模的关系不是非常复杂并且您没有大量数据时，它特别有用。
- 非常直观的理解和解释。
- 它对异常值非常敏感。
多项式回归
当我们想要为非线性可分数据创建模型时，多项式回归是最受欢迎的选择之一。它类似于线性回归，但使用变量 X 和 y 之间的关系来找到绘制适合数据点的曲线的最佳方法。
对于多项式回归，一些自变量的幂大于 1。例如，我们可能会提出如下二次模型：
Scikit-learn 的 PolynomialFeatures 内置了这种方法。 首先，我们需要生成一个由所有具有指定度数的多项式特征组成的特征矩阵：
from sklearn.preprocessing import PolynomialFeatures
# We are simply generating the matrix for a quadratic model
poly_reg = PolynomialFeatures(degree = 2)
X_poly = poly_reg.fit_transform(X)
接下来，让我们创建一个LinearRegression 对象并将其拟合到我们刚刚生成的特征矩阵 X_poly 中。
# polynomial regression model
poly_reg_model = LinearRegression()
poly_reg_model.fit(X_poly, y)
现在采用该模型并为训练数据 X_plot 拟合一条线，如下所示：
关于多项式回归的几个关键点：
- 能够对非线性可分数据进行建模；线性回归不能做到这一点。一般来说，它更加灵活，可以对一些相当复杂的关系进行建模。
- 完全控制特征变量的建模（要设置的指数）。
- 需要精心设计。 需要一些数据知识才能选择最佳指数。
- 如果指数选择不当，则容易过度拟合。
支持向量机回归
支持向量机在分类问题中是众所周知的。SVM 在回归中的使用称为支持向量回归(SVR)。Scikit-learn在 SVR()中内置了这种方法。
在拟合 SVR 模型之前，通常最好的做法是执行特征缩放，以便每个特征具有相似的重要性。 首先，让我们使用 StandardScaler() 执行特征缩放：
from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler
# Performing feature scaling
scaled_X = StandardScaler()
scaled_y = StandardScaler()
scaled_X = scaled_X.fit_transform(X)
scaled_y = scaled_y.fit_transform(y)
接下来，我们创建一个 SVR 对象，内核设置为“rbf”，伽马设置为“auto”。 之后，我们调用 fit() 使其适合缩放的训练数据：
svr_regressor = SVR(kernel='rbf', gamma='auto')
svr_regressor.fit(scaled_X, scaled_y.ravel())
现在采用该模型并为训练数据 scaled_X 拟合一条线，如下所示：
关于支持向量回归的几个关键点
- 它对异常值具有鲁棒性，并且在高维空间中有效
- 它具有出色的泛化能力（能够正确适应新的、以前看不见的数据）
- 如果特征数量远大于样本数量，则容易过拟合
决策树回归
决策树是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。 一棵树可以看作是一个分段常数近似。
决策树回归也很常见，以至于 Scikit-learn 将它内置在 DecisionTreeRegressor 中,可以在没有特征缩放的情况下创建 DecisionTreeRegressor 对象，如下所示：
from sklearn.tree import DecisionTreeRegressor
tree_regressor = DecisionTreeRegressor(random_state = 0)
tree_regressor.fit(X, y)
现在采用该模型并将其拟合到训练数据中：
关于决策树的几个关键点：
- 易于理解和解释。树可以可视化。
- 适用于分类值和连续值
- 使用 DT（即预测数据）的成本与用于训练树的数据点数量成对数
- 决策树的预测既不平滑也不连续（如上图所示为分段常数近似）
随机森林回归
随机森林回归基本上与决策树回归非常相似。 它是一个元估计器，可以在数据集的各种子样本上拟合多个决策树，并使用平均来提高预测准确性和控制过拟合。
随机森林回归器在回归中可能会或可能不会比决策树表现更好（虽然它通常在分类中表现更好），因为树构造算法本质上存在微妙的过拟合 - 欠拟合权衡。
随机森林回归很常见，以至于 Scikit-learn 将它内置在 RandomForestRegressor 中。 首先，我们需要创建一个具有指定数量的估计器的 RandomForestRegressor 对象，如下所示：
from sklearn.ensemble import RandomForestRegressor
forest_regressor = RandomForestRegressor(
n_estimators = 300,
random_state = 0
)
forest_regressor.fit(X, y.ravel())
现在采用该模型并将其拟合到训练数据中：
关于随机森林回归的几点：
- 减少决策树中的过度拟合并提高准确性
- 它也适用于分类值和连续值
- 需要大量计算能力和资源，因为它适合许多决策树来组合它们的输出
LASSO 回归
LASSO 回归是使用收缩的线性回归的变体。收缩是将数据值收缩到中心点作为平均值的过程。这种类型的回归非常适合显示重度多重共线性（特征相互之间高度相关）的模型。
Scikit-learn 内置在 LassoCV 中。
from sklearn.linear_model import LassoCV
lasso = LassoCV()
lasso.fit(X, y.ravel())
关于 Lasso 回归的几点：
- 它最常用于消除自动变量和选择特征。
- 它非常适合显示重度多重共线性（特征相互之间高度相关）的模型。
- LASSO 回归利用 L1 正则化
- LASSO 回归被认为比 Ridge 更好，因为它只选择了一些特征并将其他特征的系数降低到零。
岭回归
岭回归与 LASSO 回归非常相似，因为这两种技术都使用了收缩。 Ridge 和 LASSO 回归都非常适合显示重度多重共线性（特征相互之间高度相关）的模型。 它们之间的主要区别在于 Ridge 使用 L2 正则化，这意味着没有一个系数会像 LASSO 回归中那样变为零（而是接近零）。
Scikit-learn 内置在 RidgeCV 中。
from sklearn.linear_model import RidgeCV
ridge = RidgeCV()
ridge.fit(X, y)
关于岭回归的几点：
- 它非常适合显示重度多重共线性（特征相互之间高度相关）的模型。
- 岭回归使用 L2 正则化。 贡献较小的特征将具有接近于零的系数。
- 由于 L2 正则化的性质，岭回归被认为比 LASSO 更差
ElasticNet 回归
ElasticNet 是另一个使用 L1 和 L2 正则化训练的线性回归模型。它是 Lasso 和 Ridge 回归技术的混合体，因此它也非常适合显示重度多重共线性（特征相互之间高度相关）的模型。
在 Lasso 和 Ridge 之间进行权衡的一个实际优势是它允许 Elastic-Net 在旋转下继承 Ridge 的一些稳定性。Scikit-learn 内置在 ElasticNetCV 中。
from sklearn.linear_model import ElasticNetCV
elasticNet = ElasticNetCV()
elasticNet.fit(X, y.ravel())
XGBoost 回归
XGBoost 是梯度提升算法的一种高效且有效的实现。梯度提升是指一类可用于分类或回归问题的集成机器学习算法。
XGBoost 是一个开源库，最初由 Chen Tianqi Chen 在其 2016 年题为“XGBoost: A Scalable Tree Boosting System”的论文中开发。 该算法被设计为在计算上既高效又高效。
第一步是安装 XGBoost 库（如果尚未安装）
pip install xgboost
可以通过创建 XGBRegressor 的实例来定义 XGBoost 模型：
from xgboost import XGBRegressor
# create an xgboost regression model
model = XGBRegressor(
n_estimators=1000,
max_depth=7,
eta=0.1,
subsample=0.7,
colsample_bytree=0.8,
)
model.fit(X, y)
- n_estimators：集成中树的数量，通常会增加，直到看不到进一步的改进。
- max_depth：每棵树的最大深度，通常值在 1 到 10 之间。
- eta：用于加权每个模型的学习率，通常设置为较小的值，例如 0.3、0.1、0.01 或更小。
- subsample：每棵树中使用的样本数，设置为 0 和 1 之间的值，通常为 1.0 以使用所有样本。
- colsample_bytree：每棵树中使用的特征（列）数，设置为 0 到 1 之间的值，通常为 1.0 以使用所有特征。
关于 XGBoost 的几点：
- XGBoost 在稀疏和非结构化数据上表现不佳。
- 该算法被设计为计算效率和高效，但是对于大型数据集的训练时间仍然相当长
- 它对异常值很敏感
结论
在本文中，我们介绍了 9 种流行的回归算法，并使用 Scikit-learn 和 XGBoost 进行了动手实践。最好将它们放在您的工具箱中，这样您就可以尝试不同的算法并为实际问题找到最佳回归模型。
技术交流
欢迎转载、收藏、有所收获点赞支持一下！
目前开通了技术交流群，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友
- 方式①、发送如下图片至微信，长按识别，后台回复：加群；
- 方式②、添加微信号：dkl88191，备注：来自CSDN
- 方式③、微信搜索公众号：Python学习与数据挖掘，后台回复：加群
机器学习算法---逻辑回归及梯度下降
一、逻辑回归简介 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 logistic回归是一种广义线性回归（generalizedlinearmodel），因此与多重线性回归分析... 查看详情
收藏|机器学习分类算法
分类问题分类是一种基于一个或多个自变量确定因变量所属类别的技术。 分类用于预测离散响应逻辑回归逻辑回归类似于线性回归，适用于因变量不是一个数值字的情况(例如，一个“是/否”的响应)。它虽然被称为回归... 查看详情
收藏|机器学习分类算法
分类问题分类是一种基于一个或多个自变量确定因变量所属类别的技术。 分类用于预测离散响应逻辑回归逻辑回归类似于线性回归，适用于因变量不是一个数值字的情况(例如，一个“是/否”的响应)。它虽然被称为回归... 查看详情
收藏|机器学习分类算法
分类问题分类是一种基于一个或多个自变量确定因变量所属类别的技术。 分类用于预测离散响应逻辑回归逻辑回归类似于线性回归，适用于因变量不是一个数值字的情况(例如，一个“是/否”的响应)。它虽然被称为回归... 查看详情
[机器学习实战-logistic回归]使用logistic回归预测各种实例(代码片段)
[机器学习实战-Logistic回归]使用Logistic回归预测各种实例目录[机器学习实战-Logistic回归]使用Logistic回归预测各种实例本实验代码已经传到gitee上，请点击查收！一、实验目的二、实验内容与设计思想实验内容设计思想三、实验使... 查看详情
机器学习一般线性回归(代码片段)
...归"模型。 0.概述线性回归应该是我们听过次数最多的机器学习算法了。在一般的统计学教科书中，最后都会提到这种方法。因此该算法也算是架起了数理统计与机器学习之间的桥梁。线性回归虽然常见，但是却并不简单。该... 查看详情
机器学习算法的五种基本算子是
...对误差的衡量来探索变量之间的关系的一类算法，是统计机器学习的利器。2.基于实例的算法。基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行... 查看详情
机器学习的9个基础概念和10种基本算法总结
https://blog.csdn.net/libaqiangdeliba/article/details/41901387 1.基础概念： (1)10折交叉验证：英文名是10-foldcross-validation，用来测试算法的准确性。是常用的测试方法。将数据集分成10份。轮流将其中的9份作为训练数据，1分作为测试数... 查看详情
机器学习算法(代码片段)
机器学习常用算法一、线性回归1.基本概念2.代码实现二、逻辑回归1.基本概念Sigmoid预测函数2.代码实现三决策树1.基本概念2.代码实现四支持向量机（SVM）1.基本概念2.代码实现五全连接神经网络DNN1.基本概念全连接神经网... 查看详情
机器学习面试总结————
目录1、使用机器学习模型时，一般怎么处理数据集2、什么是训练误差和测试误差3、什么是过拟合与欠拟合?怎么解决4、机器学习当中的回归模型有哪些5、机器学习当中的分类模型有哪些6、回归和分类模型的评价指标都有哪... 查看详情
机器学习实战[machinelearninginaction]
内容简介 机器学习是人工智能研究领域中一个极其重要的研究方向，在现今的大数据时代背景下，捕获数据并从中萃取有价值的信息或模式，成为各行业求生存、谋发展的决定性手段，这使得这一过去为分析师和数学家所专... 查看详情
逻辑回归|机器学习|分类算法(代码片段)
目录1.逻辑回归1.1逻辑回归原理1.2sigmoid函数2.相关代码2.1LogisticsRegression类2.2求解代码2.3输出结果3.直接调库使用1.逻辑回归1.1逻辑回归原理∙\\bullet∙逻辑回归又叫对数几率回归，是一种对数几率模型，可以求解二分类问... 查看详情
aiot(人工智能+物联网)知识总结+实战项目(代码片段)
...类8.2HMM算法8.3最大熵模型8.4CRF算法9.深度学习课程大纲9.1机器视觉9.1.1基本操作9.1.2人脸检测9.1.3高级应用9.2TensorFlow深度 查看详情
机器学习回归决策树算法(代码片段)
目录1原理概述2算法描述3简单实例3.1实例计算过程3.2回归决策树和线性回归对比4小结1原理概述前面已经讲到，关于数据类型，我们主要可以把其分为两类，连续型数据和离散型数据。在面对不同数据时，决策树... 查看详情
[机器学习]--逻辑回归总结
逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原... 查看详情
机器学习sklearn（78）：算法实例（三十五）回归线性回归大家族多重共线性：岭回归与lassolasso(代码片段)
3Lasso3.1Lasso与多重共线性 3.2Lasso的核心作用：特征选择 importnumpyasnpimportpandasaspdfromsklearn.linear_modelimportRidge,LinearRegression,Lassofromsklearn.model_selecti 查看详情
机器学习-对数几率回归（逻辑回归）算法(代码片段)
文章目录简介激活函数损失函数优化算法代码前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。简介对数几率回归（LogisticRegression），也称逻辑... 查看详情
干货机器学习中的五种回归模型及其优缺点
...ewspace-2199810/ 线性和逻辑斯蒂（Logistic）回归通常是是机器学习学习者的入门算法，因为它们易于使用和可解释性。然而，尽管他们简单但也有一些缺点，在很多情况下它们并不是最佳选择。实际上存在很多种回归模型，每种... 查看详情