关键词：
实验中：
learning rate调太大太小都不好，应该先生成loss函数然后观察一会儿再让他跑着
实际优化：因为我们希望在离target远的时候大步走，越靠近target越慢，因此我们可以用\\eta^t
进一步，我们知道learning rate不是固定的，是与初始参数有关的，因此我们考虑优化learning rate的思路：
最后这一页PPT 是这一课对我来说的重点了。
从头说，我们首先已经能够接受梯度下降法的公式：
但是，在实际应用中我们发现，
作为需要调整的参数已经有够复杂，我们每一步都走相同的步长到后期靠近target的时候效果不好，（越靠近目标越应该小步小步走）因此我们考虑将函数的gradient加入考虑，于是有了
其中
但是我们发现这还不够好，实际上我们还需要考虑函数的陡峭程度（二阶导数），越陡峭（二阶导数绝对值越大），迈的步子越小。于是递推函数中二次函数应该以分母的形式出现……
"但是我们发现，想得到二阶导数是一件很不容易的事情，实际上一阶导就很复杂。这时候，我们发现一般在二阶导很大的函数一阶导数的绝对值会大（降得那么快不大一点都不够降的），因此用一阶导数平方和开根来估测二阶导数。"
公式为：
以上""内为李老师的解释，但是在我浅薄的认知中觉得没有必要，technically也不能推出这样用一阶导来估测二阶导数的方法，不如干脆理解为用这个分母来防止梯度爆炸或消失（防止过大过小的gradient使得每一步跳得过于跌宕）。
2021/7/20
深度学习李宏毅《机器学习》学习笔记
【深度学习】李宏毅《机器学习》学习笔记2021年8月16日P1-P2节-机器学习介绍和为什么要学习机器学习1950年，人工智能就出现了好厉害~~机器学习中包含了深度学习。早期的人工智能其实都是想当于给河狸装上一个先天的本能... 查看详情
李宏毅机器学习笔记：1.机器学习介绍(代码片段)
文章目录P1:机器学习介绍1.1人工智能、机器学习、深度学习关系1.2实现途径1.3实现方法1.4总结P2:我们为什么需要学习机器学习#Time:2021.08.23#内容：P1~P2P1:机器学习介绍1.1人工智能、机器学习、深度学习关系①什么是人工智能&#x... 查看详情
李宏毅《机器学习》丨4.deeplearning（深度学习）
Author：AXYZdong李宏毅《机器学习》系列参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef参考文档：DataWhale文档文章目录一、深度学习发展历史二、深度学习三个步骤2.1Step1：神经网络（Neuralnetwork）2.2Step2... 查看详情
《深度学习》--李宏毅学习笔记总结（待更新）
组队学习李宏毅的深度学习-1
一、学习总任务二、完成任务1Task01——机器学习介绍 Part1：任务综述 本任务主要是需要掌握机器学习的基本内容，包括简要历史、相关概念、主要相关技术的介绍。 Part2：主要内容笔记1.人工智慧，机器学... 查看详情
李宏毅机器学习课程笔记
课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节Regression从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之... 查看详情
强化学习笔记：policy-basedapproach
主要内容来自李宏毅老师的视频：【李宏毅】2020最新课程(完整版)强化学习-71.作業十五MLLecture23-1-DeepRe_哔哩哔哩_bilibili1强化学习概念复习 2像深度学习一样分析强化学习2.1深度学习三部曲这是李宏毅教授之前在介绍深度学... 查看详情
《2021机器学习-李宏毅》学习笔记
文章目录简介内容示意个人学习笔记01-Regression02.1-deeplearning-general_guidance02.2-deeplearning-类神经网络优化技巧02.3-deeplearning-loss_of_classification03-CNN04-Self-attention05-Transformer06-Generative_Model(GAN)07-Self-S 查看详情
深度学习中transformer的原理和方法（李宏毅视频课笔记）
文章目录0前言1RNNtoCNN2Self-Attention2.1BaseMethod2.2MatrixRepresentation2.3Multi-headSelf-attention2.4PositionalEncoding3Seq2SeqBasedonSelf-Attention3.1BaseMethod3.2Transformer4AttentionVisualization0前言本节学 查看详情
《深度学习》李宏毅--task1机器学习介绍
机器学习介绍 机器学习（MachineLearning），就是让机器自动找函数。如语音识别，就是让机器找一个函数，输入是声音信号，输出是对应的文字。如下棋，就是让机器找一个函数，输入是当前棋... 查看详情
台湾李宏毅老师-机器学习
参考网址：http://blog.csdn.net/youyuyixiu/article/details/53886092国立台湾大学电机工程学系助理教授–李宏毅 研究领域：机器学习、深度学习、语义理解、语音辨识 个人主页 课程名称：MachineLearningandhavingitdeepandstructured 查看详情
学习笔记李宏毅2021春机器学习课程第5.1节：transformer
文章目录1序列到序列的模型2Seq2seqmodel常见的应用场景2.1聊天机器人2.2问题回答(QA)2.3文法剖析2.4多标签分类2.5对象检测3Seq2seqmodel的整体架构4编码器的具体架构1序列到序列的模型Transformer本质上就是一个Sequence-to-sequence的model... 查看详情
李宏毅机器学习深度学习介绍与反向传播机制
BatchandMomentumReview：OptimizationwithBatch上次我们有讲说,我们实际上在算微分的时候,并不是真的对所有Data算出来的L作微分,你是把所有的Data分成一个一个的Batch,有的人是叫MiniBatch,那我这边叫做Batch,其实指的是一样的东西,助教投... 查看详情
台大李宏毅课程学习总结
...方面的基础真的是很薄弱，于是决定认真从头看完台大李宏毅《机器学习与深度学习》课程的完整视频学习。所为机器学习，其实可以类比于我们在数学中的函数，在学习函数时，我们会根据自变量与因变量寻找他们之间的函数... 查看详情
分类：概率生成模型-李宏毅机器学习笔记
目录1.若用回归模型硬train分类任务2.二分类任务2.1 概率生成模型3.数学上的形式1.若用回归模型硬train分类任务如图，class2的标签是-1（红色的点），class1的标签是1（蓝色的点），横纵坐标是特征值。... 查看详情
李宏毅深度学习笔记——呕心整理版
李宏毅深度学习笔记——呕心整理版闲谈叨叨叨:之前看过吴恩达的一部分课程，所以有一定理论基础，再看李宏毅的课程会有新的理解。我先以有基础的情况写完学习过程，后续再以零基础的角度补充细节概念（... 查看详情
李宏毅《机器学习》丨1.introductionofthiscourse（机器学习介绍）
Author：AXYZdong李宏毅《机器学习》系列参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef参考文档：DataWhale文档文章目录一、人工智能、机器学习和深度学习二、机器学习（MachineLearning）三、机器学习相关的技... 查看详情
李宏毅机器学习p5学习笔记
训练过程需要加载数据。其中需要dataset,dataloader. dataset可以用来创建数据集.DataLoader负责向训练传递数据的任务。这个 dataset是一个表示数据集的抽象类。任何自定义的数据集都需要继承这个类并覆写len\\getitem方法。数据集就是... 查看详情