关键词：
定义一些名词
欠拟合（underfitting）：数据中的某些成分未被捕获到，比如拟合结果是二次函数，结果才只拟合出了一次函数。
过拟合（overfitting）：使用过量的特征集合，使模型过于复杂。
参数学习算法（parametric learning algorithms）：用固定的参数进行数据的拟合。比如线性回归。
非参数学习算法（non-parametric learning algorithms）：使用的参数随着训练样本的增多而增多。
局部加权回归（locally weighted regression）
一种非参数学习算法。
算法思想：寻找到theta，使得
, 
最小，其中w(i)称为权值，tau称为波长参数。由公式可知，我们在进行局部加权回归时，对离x较近的训练样本赋予了较大的权重，对离x远的样本赋予了较小的权重。可以这样说，我们在对某一个x进行局部加权回归时，只使用x周围的数据。
对线性模型的概率解释
解释为何要在线性回归中选择最小二乘法
，其中varepsilon为误差项（error），假设该误差项服从均值为0，方差为sigma的正态分布，且varepsilon是IID，即独立同分布的。
，将y用varepsilon换掉，则
，则
定义似然函数为
求出最大似然估计即可
即
最小，此处隐含sigma对我们的运算无影响。
所以最小二乘法的目的实际上是假设误差项满足高斯分布且独立同分布的条件下使似然性最大化。
第一个分类算法
可以采用线性回归解决分类问题，但是有时候结果是好的，有时候结果是糟糕的，一般不这样做。
讨论二元分类，即y只能取0和1。那么我们的h，即预测值可以假定在0与1之间。所以可以选择logistic（sigmoid）函数来表示我们的h。即
对分类算法模型的概率解释
假设我们估计的是y=1的时候的概率，那么
我们可以将两个式子写在一块
同样进行最大似然估计
可以用梯度上升
算法进行最大似然估计
那么学习过程就变成了
这与在线性回归中使成本函数J最小的学习过程一样！！！
感知器算法（perceptron algorithm）
感知器算法不是使用logistics函数，而是使用以下函数
同样可以得到相同的学习过程。
吴恩达机器学习学习笔记——代价函数
单变量线性回归函数 hθ(x)=θ0+θ1x为了使线性回归函数对数据有较好的预测性，即y到h(x)的距离都很小。 查看详情
吴恩达《机器学习系列课程》学习笔记：监督学习
吴恩达的课程会很偏于用实例来掌握理论知识，不过看着还是有些云里雾里，倒是杉山将的《图解机器学习》介绍得更易懂些。在此进行结合学习。杉山将是这么通俗地定义监督学习、无监督学习和强化学习，它们是... 查看详情
吴恩达《机器学习系列课程》学习笔记
...f0c;结果最后，B站反而更像中国的YouTube。在B站上看到吴恩达的《机器学习系列课程》，看了看发现挺有意思，就梳理一下在此形成学习笔记。第一节：前言机器学习早已成为我们的日常。每当使用Google或Bing等搜... 查看详情
吴恩达“机器学习”——学习笔记八
偏差方差权衡(biasvariancetradeoff)偏差：如果说一个模型欠拟合，也可以说它的偏差很大。方差：如果说一个模型过拟合，也可以说它的方差很大。训练误差经验风险最小化(ERM)选择参数，使得训练误差最小化，即假设类H:所有假设... 查看详情
吴恩达机器学习笔记(代码片段)
文章目录ErroranalysisMethodstosolveoverfittingMethodstosolveunderfittingRecommendapproachErrormetricsforskewedclassesDataformachinelearningSupportVectorMachineK-meansPrincipleComponentAnalysisDatapreprocessingChoosingthenumberofprincipalcomponentsApplicationof`PCA`AnomalydetectionExample... 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第一周
一.初识机器学习何为机器学习？Acomputerprogramissaidtolearn fromexperienceEwithrespecttosometaskT andsomeperformancemeasureP,ifits performanceonT,asmeasuredbyP,improves withexperienceE.理解：通过实验E，完 查看详情
吴恩达2014机器学习教程笔记目录
...重实践，结合起来学习事半功倍。但是论经典，还是首推吴恩达的机器学习课程。吴大大14年在coursera的课程通俗易懂、短小精悍，在讲解知识点的同时，还会穿插相关领域的最新动态，并向你推荐相关论文。课程10周共18节课，... 查看详情
machinelearning|andrewng|coursera吴恩达机器学习笔记
Week1:MachineLearning: AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE. Supe 查看详情
吴恩达“机器学习”——学习笔记五
朴素贝叶斯算法(NaiveBayes)(续学习笔记四)两个朴素贝叶斯的变化版本x_i可以取多个值，即p(x_i｜y)是符合多项式分布的，不是符合伯努利分布的。其他的与符合伯努利的情况一样。(同时也提供一种思路将连续型变量变成离散型的... 查看详情
吴恩达机器学习学习笔记——1.3机器学习的定义
1ArthurSamuel（1959）：在没有明确编程的情况下使计算机获得学习的能力，该领域的研究为机器学习。2TomMitchell（1998）：如果一个计算机程序解决任务T的性能达到了P，那么就说它从经验E中学习去解决任务T，并且达到了性能P。比... 查看详情
吴恩达“机器学习”——学习笔记四
生成学习算法判别算法：进行P(y|x)的计算或者是进行h(x)（其中h只会是0与1）的计算。生成学习算法：进行P(x|y)的建模，即给定类的条件下，某种特征显示的结果。同时也会对P(y)进行建模。根据贝叶斯公式，我们可以得到，其中p... 查看详情
吴恩达机器学习学习笔记——梯度下降
梯度下降算法能够帮助我们快速得到代价函数的最小值算法思路：以某一参数为起始点寻找下一个参数使得代价函数的值减小，直到得到局部最小值梯度下降算法：重复下式直至收敛，其中α为学习速率，表示找到局部最小... 查看详情
吴恩达机器学习学习笔记——1.5无监督学习
1无监督学习：在不知道数据点的含义的情况下，从一个数据集中找出数据点的结构关系。2聚类算法：相同属性的数据点会集中分布，聚集在一起，聚类算法将数据集分成不同的聚类。也就是说，机器不知道这些数据点具体是什... 查看详情
机器学习-吴恩达andrewngcoursera学习总结合集，编程作业技巧合集
...learn/machine-learning/home/welcome课程总结机器学习MachineLearning-吴恩达AndrewNg第1~5课总结机器学习MachineLearning-吴恩达AndrewNg第6~10课总结机器学 查看详情
吴恩达机器学习笔记-第六周
十、应用机器学习的建议10.1决定下一步做什么很多时候我们会发现我们通过最小化代价函数获得的模型所预测的值和真实值有很大的偏差(其实就是泛化能力差)，此时我们可以在训练完之后对我们的模型进行诊断测试。测试模型... 查看详情
吴恩达机器学习学习笔记——2.1单变量线性回归算法
1回顾1.1监督学习定义：给定正确答案的机器学习算法分类：（1）回归算法：预测连续值的输出，如房价的预测（2）分类算法：离散值的输出，如判断患病是否为某种癌症1.2非监督学习定义：不给定数据的信息的情况下，分析数... 查看详情
斯坦福吴恩达教授机器学习公开课第二讲笔记——有/无监督学习+线性回归
吴恩达机器学习学习笔记——2.7第一个学习算法=线性回归+梯度下降
梯度下降算法： 线性回归模型： 线性假设： 平方差成本函数：将各个公式代入，对θ0、θ1分别求偏导得：再将偏导数代入梯度下降算法... 查看详情