关键词：
线性回归
综述
- 目的是找到一个映射，最能反映二者之间的关系。用来预测当有新的样本输入的时候，输入的结果
- 线性回归处理的变量必须是连续的。
欠拟合&过拟合
过拟合跟欠拟合是ml算法表现差的两大原因
欠拟合：样本的容量不够引起的
过拟合：如果有特别多的特征，曲线可以拟合的很好，但是丧失了一般性，导致泛化能力差。设
如何处理正则化？
正则化的方法。
算法
使用最小二乘法计算两个参数。
根据输入的样本情况，计算出对应的b0和b1
结果是
y = b0 + b1t
优化
梯度下降算法
一般使用随机梯度下降的算法。随机梯度下降占据更少的资源，并且可以在新的数据到来的时候就完成更新。
方向：求偏导
步长：学习率，工程上需要自己根据经验设定
如何停止：
- 设定一个值，当上下之间的变化率小于这个数，就认为已经到了底部
- 下一个大于上一个
损失函数
拟合这些样本的方法有很多，为了能使效果达到最好，需要引入损失函数的概念。
损失函数：为了衡量拟合的效果好坏
不同的算法会定义不同的损失函数，但是目的都是一样的，都是为了衡量模型效果的好坏
损失函数的定义：（平方损失法）
L(Y,f(X))=sum((Y−f(x))**2)/2m
过拟合
模型在训练集上表现很好，但是在验证集上表现不佳。原因是模型在训练集上可能为了迎合噪声，导致效果不佳。
通过观察模型的泛化能力，判断出现了过拟合/欠拟合
- 数据集增大，增多学习的数据
- 正则化处理，增大正则化系数。通过加大惩罚，让他更贴近
欠拟合
模型在训练集和测试集上的表现都不好
- 寻找更多特征
- 减小正则的系数
正则化
- L1正则化：基于L1范数。|y - y*|
- L2正则化：基于L2范数。(|y - y*|)**2
评价
- 结果容易理解，计算简便
- 对非线性效果不好
- 数值型和标称型
进阶
正则化方法
逻辑回归
综述
最优化问题。根据现有数据对分类边界线简历回归公式。逻辑回归本质是在找一条判定边界。
1 寻找回归系数
2 带入Sigmoid函数，得到分类取值概率
- 名义上是回归，实际上是个分类学习方法。
- 输出的结果是个概率。
把每个特征上都乘以一个回归系数，然后求和，把求和结果带入到Sigmoid函数中。Sigmoid把结果和分类联系起来
如何确定系数？
确定回归系数
z=w*x+b
w:最佳参数
x:输入的数据
寻找最佳参数？
最优解：
- 牛顿法
- 梯度下降法
逻辑回归不考虑要处理的属性是连续/离散的
sigmoid函数。可以把任意的连续的值映射到0-1之间
多分类：
one VS other法则
算法
梯度下降算法
需要大量计算，每次更新都要遍历所有的数据
针对所有的样本而言，进行计算。
随机梯度下降
针对单个样本进行计算。更新权值。可以在新数据到来的似乎就完成参数更新，而不需要读取整个数据集进行批处理运算
优化
这里损失函数的定义，不能用梯度下降，因为他不是凸的。
这里用对数损失函数
cost(hθ(x),y)= −log(hθ(x)) if y=1
−log(1−hθ(x)) if y=0
评价
- 可解释性强，计算代价不高。
- 能以概率的形式输出，而非0/1
- 速度快，效果好，添加新的特征简单
- 适用于数值型和标称型数据
进阶
正则化
机器学习之线性回归概念总结速记
目录线性回归简介线性回归应用场景线性回归定义线性回归模型线性回归初步使用步骤分析代码过程线性回归的损失和优化损失函数优化算法正规方程梯度下降梯度的概念梯度下降和正规方程的对比算法选择依据欠拟合和过拟合... 查看详情
机器学习之线性回归
1.线性回归简述在统计学中，线性回归（LinearRegression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合（自变... 查看详情
机器学习之逻辑回归(logisticregression)
"""逻辑回归中的Sigmoid函数""" importnumpyasnp importmatplotlib.pyplotasplt defsigmoid(t): return1/(1+np.exp(-t)) x=np.linspace(-10,10,500) y=sigmoid 查看详情
机器学习之逻辑回归
2.逻辑回归简述Logistic回归算法基于Sigmoid函数，或者说Sigmoid就是逻辑回归函数。Sigmoid函数定义如下： 11+e?z。函数值域范围(0,1)。因此逻辑回归函数的表达式如下： hθ(x)=g(θTX)=11+e?θTX其中，g(z)=11+e?z其导数形式为： g′... 查看详情
机器学习之一元线性回归模型
一元线性回归模型样本数量m 输入变量x 输出变量y &nb 查看详情
机器学习之k-means算法
前言 以下内容是个人学习之后的感悟，转载请注明出处~ 简介 在之前发表的线性回归、逻辑回归、神经网络、SVM支持向量机等算法都是监督学习算法，需要样本进行训练，且样本的类别是... 查看详情
机器学习之线性回归以及logistic回归
1、线性回归回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。对于普通线性回归使用的损失函数... 查看详情
机器学习之线性回归---logistic回归---softmax回归
1摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学... 查看详情
javascript机器学习之线性回归
译者按:AI时代，不会机器学习的JavaScript开发者不是好的前端工程师。原文:MachineLearningwithJavaScript:Part1译者:Fundebug为了保证可读性，本文采用意译而非直译。另外，本文版权归原作者所有，翻译仅用于学习。使用JavaScript做机器学... 查看详情
机器学习之线性回归(代码片段)
文章目录评价方法一元线性回归np.polyfit求解带入公式求解化简公式求解lstsq求解多元线性回归代码实现一元多项式回归代码实现参考评价方法回归问题有很多的评价方法。这里主要想写一下R^2的计算方法。需要计算R^2需要先弄清... 查看详情
机器学习之线性回归
1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情
机器学习之线性回归
1.机器学习算法**监督学习：**已经知道类别的样本，通过一定的模型或者是特定的算法，可以预测出某种特定的结果，例如预测房价，最终可以预测出房价是什么，或者是预测肿瘤疾病，判断肿瘤是良... 查看详情
机器学习之logistic回归算法
1Logistic回归算法的原理1.1需要的数学基础我在看机器学习实战时对其中的代码非常费解，说好的利用偏导数求最值怎么代码中没有体现啊，就一个简单的式子：θ=θ - α Σ[(hθ(x(i))-y(i) )]*xi。经过查找资料才知道，... 查看详情
机器学习之回归
近期阅读了《白话机器学习的数学》，为了将所读的内容充分理解消化，故将整理一系列文章，该篇是上一篇文章的续篇。1.设置问题基于广告费预测网站的点击量2.定义模型假设点击量只与广告费这一个变量有关ÿ... 查看详情
机器学习之回归简介
线性回归综述目的是找到一个映射，最能反映二者之间的关系。用来预测当有新的样本输入的时候，输入的结果线性回归处理的变量必须是连续的。欠拟合&过拟合过拟合跟欠拟合是ml算法表现差的两大原因欠拟合：... 查看详情
机器学习之逻辑回归
给定一张图片，如何让计算机帮助我们识别它是不是一张猫的图片，这个问题可以看成一个简单的分类问题。如下图所示，平面上有两种不同颜色（黑色，红色）的点，我们要做到就是要找到类似与那条直线那样的界限。当某个... 查看详情
20171028机器学习之线性回归过拟合问题的解决方案
在函数中加入一个正则项： 三种方式：一、Ridge回归（岭回归）： 优点：具有较高的准确性、鲁棒性以及稳定性 缺点：求解速度慢二、Lasso回归： 优点：求解速度快（原理降维计算，把数据维度中存在的噪音和... 查看详情
机器学习之linearregression线性回归(代码片段)
一、预测先来看看这样一个场景：假如你手头有一套房子要出售，你咨询了房产中介。中介跟你要了一系列的数据，例如房子面积、位置、楼层、年限等，然后进行一系列计算后，给出了建议的定价。房产中介是如何帮你定价的... 查看详情