关键词：
课程资源
下面仅记录自己的所得所感
第一节
Regression
从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之后很有收获。
老师在引入的例子中用的x表示的是前几天的数据关系，不过我理解的时候还是觉得用特征来理解好不少。
to learn more——backpropagation
就是应用链时法则，从后往前求微分
第二节
overfitting
一般会出现这样的情况：模型太简单，出现high bias的情况（训练误差和验证误差都比较大）；模型太复杂，出现overfitting的状况（训练误差小，验证误差大）
Cross Validation
把Training的资料分成两半,一部分叫作Training Set,一部分是Validation Set
你在Validation Set上面,去衡量它们的分数,你根据Validation Set上面的分数,去挑选结果，最终在test set中去测评模型的泛化能力。
N-fold Cross Validation
N-fold Cross Validation就是你先把你的训练集切成N等份,在这个例子裡面我们切成三等份,切完以后,你拿其中一份当作Validation Set,另外两份当Training Set,然后这件事情你要重复三次
也就是说,你先第一份第二份当Train,第三份当Validation,然后第一份第三份当Train,第二份当Validation,第一份当Validation,第二份第三份当Train
然后接下来 你有三个模型,你不知道哪一个是好的,你就把这三个模型,在这三个setting下,在这三个Training跟Validation的,data set上面,通通跑过一次,然后把这三个模型,在这三种状况的结果都平均起来,把每一个模型在这三种状况的结果,都平均起来,再看看谁的结果最好
Local Minimum And Saddle Point
过去常见的一个猜想,是因為我们现在走到了一个地方,这个地方参数对loss的微分為零
讲到gradient為零的时候,大家通常脑海中最先浮现的,可能就是local minima。
但gradient为零还可能是其他情况,比如说 saddle point,所谓的saddle point,像图中显示那样,它在左右这个方向是比较高的,前后这个方向是比较低的,它就像是一个马鞍的形状,所以叫做saddle point,那中文就翻成鞍点
像saddle point这种地方,它也是gradient為零,但它不是local minima,那像这种gradient為零的点,统称為critical point,所以你可以说你的loss,没有办法再下降,也许是因為卡在了critical point,但你不能说是卡在local minima,因為saddle point也是微分為零的点
判断微分为0的情况
要知道我们loss function的形状,可是我们怎麼知道,loss function的形状呢,network本身很复杂,用复杂network算出来的loss function,显然也很复杂,我们怎麼知道loss function,长什麼样子,虽然我们没有办法完整知道,整个loss function的样子
但是如果给定某一组参数,比如说蓝色的这个 θ ′ \\theta^' θ′,在 θ ′ \\theta^' θ′附近的loss function,是有办法被写出来的,它写出来就像是这个样子
那如果我们今天走到了一个critical point,意味著gradient為零,也就是绿色的这一项完全都不见了
判断方法如下
Don’t afraid of saddle point
对于saddle point的情况，从图中我们也可以形象地看出它的loss是有办法可以继续下降的
Saddle Point v.s. Local Minima
当维度很多的时候，其实我们是有很多“路”可以走的，很难出现真正H为正定的情况
从经验上看起来,其实local minima并没有那麼常见,多数的时候,你觉得你train到一个地方,你gradient真的很小,然后所以你的参数不再update了,往往是因為你卡在了一个saddle point
学习笔记李宏毅2021春机器学习课程第5.1节：transformer
文章目录1序列到序列的模型2Seq2seqmodel常见的应用场景2.1聊天机器人2.2问题回答(QA)2.3文法剖析2.4多标签分类2.5对象检测3Seq2seqmodel的整体架构4编码器的具体架构1序列到序列的模型Transformer本质上就是一个Sequence-to-sequence的model... 查看详情
李宏毅2020机器学习深度学习笔记1+2&&深度学习基础与实践课程笔记2
机器学习：研究如何从观测数据(observations)中寻找“规律”(skill)，这些规律可以在未知数据上的表现有所改进。目的：使用“高质量”的训练数据，构建“合适”的模型，以“更佳地”完成任务。本质：让... 查看详情
学习笔记李宏毅2021春机器学习课程第7.2节：自监督学习
文章目录1为什么BERT有用?2多语言的BERT2.1跨语言的阅读理解2.2跨语言对齐1为什么BERT有用?最常见的解释是，当输入一串文本时，每个文本都有一个对应的向量。对于这个向量，我们称之为embedding。它的特别之处在于... 查看详情
李宏毅机器学习课程知识点总结
开发者涨薪指南48位大咖的思考法则、工作方式、逻辑体系 查看详情
李宏毅2023春季机器学习课程
...通知会及时更新，祝大家学习顺利，再次感谢李宏毅老师授权转载；我维护的其他项目图片数据不够？我做了一款图像增强软件开箱即用，涵盖主流模型的图像分类|主干网络学习/对比/魔改项目一键转换与编... 查看详情
台大李宏毅课程学习总结
...方面的基础真的是很薄弱，于是决定认真从头看完台大李宏毅《机器学习与深度学习》课程的完整视频学习。所为机器学习，其实可以类比于我们在数学中的函数，在学习函数时，我们会根据自变量与因变量寻找他们之间的函数... 查看详情
李宏毅机器学习课程笔记
课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节Regression从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之... 查看详情
视频+ppt2021年李宏毅版40节机器学习课程已更新完毕，推荐收藏！
提起李宏毅老师，熟悉机器学习的读者朋友一定不会陌生。最典型的就是开局一言不合就“宝可梦”。李宏毅老师幽默风趣的教学风格也吸引力很多机器学习爱好者。李宏毅老师，是宝岛台湾大学电机工程系教授，他... 查看详情
深度学习李宏毅《机器学习》学习笔记
【深度学习】李宏毅《机器学习》学习笔记2021年8月16日P1-P2节-机器学习介绍和为什么要学习机器学习1950年，人工智能就出现了好厉害~~机器学习中包含了深度学习。早期的人工智能其实都是想当于给河狸装上一个先天的本能... 查看详情
《2021机器学习-李宏毅》学习笔记
文章目录简介内容示意个人学习笔记01-Regression02.1-deeplearning-general_guidance02.2-deeplearning-类神经网络优化技巧02.3-deeplearning-loss_of_classification03-CNN04-Self-attention05-Transformer06-Generative_Model(GAN)07-Self-S 查看详情
台湾李宏毅老师-机器学习
参考网址：http://blog.csdn.net/youyuyixiu/article/details/53886092国立台湾大学电机工程学系助理教授–李宏毅 研究领域：机器学习、深度学习、语义理解、语音辨识 个人主页 课程名称：MachineLearningandhavingitdeepandstructured 查看详情
李宏毅深度学习笔记——呕心整理版
李宏毅深度学习笔记——呕心整理版闲谈叨叨叨:之前看过吴恩达的一部分课程，所以有一定理论基础，再看李宏毅的课程会有新的理解。我先以有基础的情况写完学习过程，后续再以零基础的角度补充细节概念（... 查看详情
台大李宏毅《机器学习》2021课程撒花完结！除了视频ppt，还有人汇编了一本答疑书...
...迷路机器之心报道今年2月末，「精灵宝可梦大师」李宏毅的《机器学习》最新一期课程正式开课。对于想要入门机器学习的同学来说，这是一门不容错过的经典课程，视频、PPT等资料都可以在课程页面找到，而且... 查看详情
李宏毅机器学习笔记：1.机器学习介绍(代码片段)
文章目录P1:机器学习介绍1.1人工智能、机器学习、深度学习关系1.2实现途径1.3实现方法1.4总结P2:我们为什么需要学习机器学习#Time:2021.08.23#内容：P1~P2P1:机器学习介绍1.1人工智能、机器学习、深度学习关系①什么是人工智能&#x... 查看详情
机器学习基础：台大李宏毅的线性代数视频公开课
大家应该对李宏毅老师不陌生吧？李宏毅现任国立台湾大学电气工程系助理教授，研究重点是机器学习（尤其是深度学习方向）、口语理解和语音识别。他的人工智能系列公开课是Youtube上最火的人工智能系列课程。很多机器学... 查看详情
李宏毅机器学习笔记（2016年的课程）：supportvectormachine(svm)(代码片段)
目录1.各种loss函数2.线性SVM3.kernel3.1前言3.2各种kernel3.3kernelVS神经网络1.各种loss函数f=np.arange(-3,3+1e-8,0.001)py=np.array([1.]*len(f))defget_ideal(yf):returnnp.where(yf>=0,0,1)defsquare(yf):returnnp.square(yf-1.)defsigmoid(x):return1./(1+np.exp(-x))de... 查看详情
李宏毅2020机器学习深度学习笔记2
实验中：learningrate调太大太小都不好，应该先生成loss函数然后观察一会儿再让他跑着 实际优化：因为我们希望在离target远的时候大步走，越靠近target越慢，因此我们可以用\\eta^t进一步，我们知道learningrat... 查看详情
反向传播-李宏毅机器学习笔记
输入通过前向传播由输入层传播到输出层；梯度通过后向传播由输出层传播到输入层。 N个样本的损失函数，其中代表单个样本损失函数：求解梯度，以weight为例，bias同理：可见，我们只要求解单个样... 查看详情