coursera-andrewng(吴恩达)机器学习笔记——第一周

关键词：

一.初识机器学习

1. 何为机器学习？
   A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
   理解：通过实验E，完成某一项任务T，利用评价标准P对实验结果进行迭代优化！
2. 机器学习主要包括监督学习（supervised）和无监督学习（unsupervised），其他的还有增强学习，推荐系统（recommender systems）等。
3. 监督学习是指实验数据当中有可参考的正确输出，通常包括回归问题和分类问题。
4. 回归问题（regression problem）是指预测的值，也就是实验结果是连续的，有准确的数值。
   分类问题（classification problem）是指实验结果是离散的，不是一个准确的数值。
5. 无监督学习指聚类问题，不同于分类。如鸡尾酒会算法，在鸡尾酒会中分辨出人的声音和会场的音乐。

二.单变量线性回归问题（Linear regression with one variable）

1. 符号标记：m（训练集中样本的数量），X`s（输入变量/特征），Y`s（输出变量/目标变量），（x,y）表示一个训练样本。
2. 问题背景：使用房屋面积预测房价！问题描述如下图：
   
   上图从上向下看，表示将训练集带入到学习算法当中，进过训练得到预测函数h；再从左向右看，将房屋面积带入预测函数，输出预测的房价。
3. 单变量线性回归问题的预测函数可以表示为：h_θ(x)=θ₀+θ₁*x（其实就是y=ax+b），其中的θ_i为模型参数。所以我们的任务就变成了，使用训练集进行训练，最后得到最佳的θ_i值，使得我们得到的预测函数h_θ(x)最接近真正的预测函数。完成此任务的方法就叫做学习算法。
4. 代价函数（cost function）也叫平方误差函数：
   
   理解：量化房价预测值h_θ(x⁽ⁱ⁾)和实际房价值y⁽ⁱ⁾之间的偏差。因此，我们每次实验的目标就是通过调整参数θ_i，使得代价函数的值越来越小，这样我们的模型就越接近真实的预测模型。
5. 根据不同的参数θ_i，计算代价函数J(θ₀,θ₁)，作出图形通常称为contour plot（等高线图），图形特点有局部最优解，也就是局部最低点。如下图所示：
   
6. 梯度下降（Gradient descent）：通过调整参数θ_i值，不断的降低代价函数J(θ₀,θ₁)，最后找到满意的局部最优解的过程。（参数值需初始化）
   梯度下降算法：
   
   其中α为学习速率，如果α值过小，梯度下降速度慢；如果α过大，梯度下降难以收敛，甚至发散。
   
7. 单变量线性回归问题的梯度下降形式：
   
   每一次梯度下降计算过程中，都使用训练集中所有的样本！

三.线性代数知识点回顾

1. 矩阵与向量：
   矩阵的维数：m*n（行数*列数）、矩阵中的元素：A_ij（i行j列）、向量是一个n*1维的矩阵、向量中的元素：y_i表示第i个元素。
   通常用大写字母表示矩阵，小写字母表示向量。一般情况下，矩阵和向量的下标索引值从数字1开始。R表示实数集，R_m*n表示m*n维矩阵，矩阵中元素为实数。
   MATLAB/Octive中代码表示：A=[1,2,3;4,5,6;7,8,9;10,11,12]   v=[1;2;3]其中符号;表示开启新行。[m,n]=size(A) 求A的维数m*n，也可写作dim_A=size(A)。同理dim_v=size(v)。A_23=A(2,3)表示取2行3列的值。
2. 矩阵的加减法：只有两个相同维度的矩阵才可以进行加减法。
                        
3. 矩阵乘法不满足交换律A*B!=B*A，但是满足结合律A*B*C=A*(B*C)
   
   I为单位矩阵，A*I=I*A=A.
4. 矩阵的逆：AA^-1=A^-1A=I，其中A为m*m维的方阵，只有方阵才有逆矩阵。
   矩阵的转置：A_m*n，B=A^T，B_n*m，and B_ij=A_ij

coursera-andrewng(吴恩达)机器学习笔记——第四周

神经网络1.神经网络发展的动力：在逻辑回归解决复杂的分类问题时，我们使用属性的一些组合来构造新的属性（x12,x1x2,x22...），这样就会造成属性的数目n过多，带来了大量的运算，甚至造成过拟合的现象。在计算机视觉中对物... 查看详情

机器学习-吴恩达andrewngcoursera学习总结合集，编程作业技巧合集

...learn/machine-learning/home/welcome课程总结机器学习MachineLearning-吴恩达AndrewNg第1~5课总结机器学习MachineLearning-吴恩达AndrewNg第6~10课总结机器学 查看详情

吴恩达机器学习笔记(代码片段)

文章目录ErroranalysisMethodstosolveoverfittingMethodstosolveunderfittingRecommendapproachErrormetricsforskewedclassesDataformachinelearningSupportVectorMachineK-meansPrincipleComponentAnalysisDatapreproce 查看详情

吴恩达的机器学习，属实牛逼

吴恩达属实牛逼大家好哇，新同学都叫我张北海，老同学都叫我老胡，其实是一个人，只是我特别喜欢章北海这个《三体》中的人物，张是错别字。最近在coursera上重温了吴恩达升级版的《机器学习》课程，当时还写了一个刷课... 查看详情

机器学习-吴恩达-正规方程多变量回归公式

矩阵的迹    A为nXn的矩阵     查看详情

吴恩达2022机器学习课程评测来了！

大家好！我是louwill。吴恩达老师2022年机器学习专项课（MachineLearningSpecialization）上周全新来袭，课程本身并不是新课，与10年前的机器学习专项课相比，编程语言用Python代替了此前的Octave，主要定位于... 查看详情

吴恩达机器学习笔记(代码片段)

文章目录ErroranalysisMethodstosolveoverfittingMethodstosolveunderfittingRecommendapproachErrormetricsforskewedclassesDataformachinelearningSupportVectorMachineK-meansPrincipleComponentAnalysisDatapreprocessingChoosingthenumberofprincipalcomponentsApplicationof`PCA`AnomalydetectionExample... 查看详情

吴恩达机器学习学习笔记——代价函数

单变量线性回归函数 hθ(x)=θ0+θ1x为了使线性回归函数对数据有较好的预测性，即y到h(x)的距离都很小。  查看详情

花了2晚，拿到了吴恩达@斯坦福大学的机器学习课程证书

花了2个晚上，拿到了吴恩达@斯坦福大学的机器学习课程证书警告⚠️⚠️⚠️请认真阅读此文，操作不慎可能血亏真金白银吴恩达算是我的精神导师了，很早之前就是看他的视频入门机器学习。他的经典课程《机器学习》2012年... 查看详情

machinelearning|andrewng|coursera吴恩达机器学习笔记

Week1:MachineLearning: AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE. Supe 查看详情

吴恩达“机器学习”——学习笔记二

定义一些名词欠拟合（underfitting）：数据中的某些成分未被捕获到，比如拟合结果是二次函数，结果才只拟合出了一次函数。过拟合（overfitting）：使用过量的特征集合，使模型过于复杂。参数学习算法（parametriclearningalgorithms）... 查看详情

吴恩达2014机器学习教程笔记目录

...重实践，结合起来学习事半功倍。但是论经典，还是首推吴恩达的机器学习课程。吴大大14年在coursera的课程通俗易懂、短小精悍，在讲解知识点的同时，还会穿插相关领域的最新动态，并向你推荐相关论文。课程10周共18节课，... 查看详情

吴恩达预热新课！万字回顾机器学习！

  新智元报道  吴恩达最近发布了一篇博客，介绍了几个基础算法的起源和直观理解，还宣传了一下自己重置版机器学习课程：目的竟是为了复习一遍！最近吴恩达在博客网站上发表了一篇特刊，表示自己由... 查看详情

吴恩达预热新课！万字回顾机器学习！

  新智元报道  吴恩达最近发布了一篇博客，介绍了几个基础算法的起源和直观理解，还宣传了一下自己重置版机器学习课程：目的竟是为了复习一遍！最近吴恩达在博客网站上发表了一篇特刊，表示自己由... 查看详情

吴恩达机器学习私人总结

octave教程和MATLAB类似。octave:11>PS1(‘>>‘）更改提示符格式化输出：disp(sprintf(‘6decimals:%0.6f‘,a))对矩阵A扩充一列A=[A,[100;101;102]]矩阵A合并为一列：A(:)矩阵求伪逆：https://blog.csdn.net/yinyu19950811/article/details/61420131pin 查看详情

吴恩达《机器学习系列课程》学习笔记

...f0c;结果最后，B站反而更像中国的YouTube。在B站上看到吴恩达的《机器学习系列课程》，看了看发现挺有意思，就梳理一下在此形成学习笔记。第一节：前言机器学习早已成为我们的日常。每当使用Google或Bing等搜... 查看详情

吴恩达机器学习随笔什么是机器学习？(代码片段)

定义　　　TomMitchell对机器学习定义为“计算机从经验E中学习，解决某一任务T，进行某一度量P,通过P测定在T上的表现因经验E而提高”。定义个人觉得大体理解即可，如果扣文咬字去理解会十分痛苦，就不做过多解释了。原文：... 查看详情

吴恩达《机器学习系列课程》学习笔记：监督学习

吴恩达的课程会很偏于用实例来掌握理论知识，不过看着还是有些云里雾里，倒是杉山将的《图解机器学习》介绍得更易懂些。在此进行结合学习。杉山将是这么通俗地定义监督学习、无监督学习和强化学习，它们是... 查看详情