关键词：
机器学习之理论篇—线性模型
线性模型是机器学习中的最基本模型，其形式简单、易于建模。线性回归模型虽然简单，但却非常的实用，许多非线性模型也都是建立在线性模型的基础之上的。
线性模型定义为由n个属性x=(x1,x2…xn)，其中xi为x在第i个属性上的取值，线性模型通过这些属性的线性组合来建立预测函数：
f(x)=β0+β1X1+β2X2+…βnXn
写成向量形式为：f(x)=βX
因为估计我们想让f(x)尽可能的接近其真实值yi，所以求β向量的过程也就是求∑（f(xi)-yi)^2的最小值的过程，也就是最小二乘法。
在R中实现线性回归的函数有：
（1）model1<-lm(fromula, data, subset, weights, na.action,method="qr", model=TRUE, x=FALSE, y=FALSE, qr=TRUE,...)
说明: formula 是显示回归模型， data 是数据框， subset 是样本观察的子集， weights 是用于拟合的加权向量，na.action 显示数据是否包含缺失值，method 是指出用于拟合的方法， model, x,y, qr 是逻辑表达式，如果是TRUE，应返回其值， 除了第一个选项formula 是必选项，其他都是可选项。
（2）summary(model1)可以返回拟合的结果。
（3）step(model1)输出逐步回归结果/addl()/dropl()
（4）anova(model1)计算方差分析表
（5）coefficients(model1)取模型系数
（6）deviance(model1)计算残差平方和
（7）formula(model1)提取模型公式
（8）plot(model1)绘制模型诊断图
（9）predict(model1,newdata=data.frame)预测
（10）print(model1)显示模型拟合的结果，一般只输入对象名输出结果
（11）residuals(model1)计算残差
（12）updata(old-model,new-formula)在new-formula中，其相应的名字由“.”组成，例如fm1<-lm(y~x1+x2+x3+x4+x5,data=X);fm2<-updata(fm1,.~.+x6); fm3<-updata(fm2,sqrt(.)~.)
（13）rstandard()标准化残差
画标准化残差图：y.rst<- rstandard(model1); y.fit<-predict(model1);plot(y.rst~y.fit)
（14）diffits(model1)DIFFITS准则
（15）cooks.distance ( model1, infl=lm.influence (model1, do.coef=F), res =weighted. Residuals ( model1) ) cook统计量越大，越可能存在异常值
（16）kappa(model1)判断多重共线性
（17）eigen(X)计算相关矩阵的特征值和特征向量
（18）model2<-glm()广义线性回归
机器学习之回归篇(代码片段)
机器学习之回归篇（一）一、综述?回归就是从一组数据出发，确定某些变量之间的定量关系式，也就是建立数学模型并估计未知参数。回归的目的是预测数值型的目标值，它的目标是接受连续数据，寻找最适合数据的方程，并... 查看详情
机器学习之一元线性回归模型
一元线性回归模型样本数量m 输入变量x 输出变量y &nb 查看详情
机器学习之线性回归
1.线性回归简述在统计学中，线性回归（LinearRegression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变... 查看详情
4.机器学习之逻辑回归算法
理论上讲线性回归模型既可以用于回归，也可以用于分类。解决回归问题，可以用于连续目标值的预测。但是针对分类问题，该方法则有点不适应，因为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类... 查看详情
机器学习之判别式模型和生成式模型
判别式模型（DiscriminativeModel）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有线性回归模型、线性判别分析、支持向量机SVM、神经网络等。生成式模型（GenerativeModel）则会对x和y的联合分布p(x,y)建模，然后通过贝叶斯公式来... 查看详情
机器学习之线性回归---logistic回归---softmax回归
1摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学... 查看详情
机器学习——集成学习之stacking
摘自：https://zhuanlan.zhihu.com/p/27689464Stacking方法是指训练一个模型用于组合其他各个模型。首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。理论上，Stacking... 查看详情
机器学习之线性回归
1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情
机器学习之线性回归
1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情
系统学习机器学习之特征工程--多重共线性
什么是多重共线性？回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数... 查看详情
机器学习之主题模型
摘要： 主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。主题模型在自然语言和基于文本的搜索上都起到非常大... 查看详情
机器学习之线性回归算法
...回归算法总结： 回归是统计学中最有力的工具之一。机器习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。回归算法用于连续型分布预测，针对的是数值型的样本，... 查看详情
机器学习——集成学习之boosting
整理自：https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1AdaBoostGBDTXgboost1.AdaBoostBoosting的本质实际上是一个加法模型，通过改变训练样本权重学习多个分类器并进行一些线性组合。而Adaboost就是加法模型+指数损失函... 查看详情
机器学习之回归模型-梯度下降法求解线性回归(代码片段)
机器学习之回归模型-梯度下降法求解线性回归线性回归是一种线性模型，它假设输入变量x与单个输出变量y之间存在线性关系。具体的说，就是利用线性回归模型，从一组输入变量的线性组合中，计算出输出变量y... 查看详情
机器学习之支持向量机（supportvectormachine）（更新中...）
支持向量机 支持向量机（supportvectormachines，SVMs）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类... 查看详情
sparkmllib学习之线性回归
SparkMLlib学习之线性回归（一）回归的概念 1，回归与分类的区别 分类模型处理表示类别的离散变量，而回归模型则处理可以取任意实数的目标变量。但是二者基本的原则类似，都是通过确定一个模型，将输入特征映射... 查看详情
机器学习之回归模型-调用sklearn库求解线性回归(代码片段)
机器学习之回归模型-调用sklearn库求解线性回归在使用sklearn库之前，我们先看一下这个库的结构，该库经常用于监督学习和无监督学习，sklearn共分为6大部分，分别用于完成分类任务，回归任务，聚类任务&... 查看详情
机器学习之线性回归(代码片段)
以kaggle上的HousePrices:AdvancedRegressionTechniques为例讲述线性回归fromsklearn.linear_modelimportLinearRegression,RidgeCV,LassoCV,ElasticNetCV1、回归模型（1）一般线性回归：LinearRegressionwithoutregularizationfromsklearn.linear_modelimportLinearRegressionlr=LinearRegression... 查看详情