关键词：
机器学习：研究如何从观测数据 (observations) 中寻找“规律”(skill)，这些规律可以在未知数据上的表现有所改进。
目的：使用“高质量”的训练数据，构建“合适”的模型，以“更佳地”完成任务。
本质：让机器自动帮人类找函数。
历史：早期称为模式识别，当时更偏向于具体的应用任务，比如字符识别、语音识别。
寻找最优函数的过程称为学习或者训练。
应用：分类、聚类、回归、关系预测、目标检测、语义分割、机器翻译、生成……
分类：判断/创造
方法：1.定义模型 2.定义损失函数 3.转化为优化问题 4.开始train
————
李宏毅课程笔记1
supervised learning：提前想好想让电脑输出什么类型的函数-需要给电脑一些训练数据集和训练结果（是猫还是狗）
reinforcement learning：不直接给结果而是给部分（不直接告诉机器下一步下到哪里，而是以下很多盘的不同结果来作为训练数据）【AlphaGo最早是先supervised再RL】
unsupervised learning：只有数据没有结果
explanable AI：不仅要知道输出“是猫”，还要输出“为什么是”
Adversarial Attack：怎样给予一个可能肉眼无法识别的attack使得网络识别出故障
Network compression：怎样让网络在手机、甚至更小的载体上运行
anomaly detection：怎么知道不知道这个东西
domain adversary：怎样在domain变化之后保持学习能力（甲方给换了背景hhh）
Meta learning:如何让机器自己学习假设一个模型让机器自己跑（functional）
2：regression：
假设
→loss function：
以宝可梦为例，本来只考虑种类，然后考虑高度、层级……；本来只考虑一次函数，然后二次、三次……机器学习炼丹开始hhhh
改进思路
Regulation：
目的：让参数
们尽量小，从而让函数更加平滑，因变量对自变量不敏感，从而小error不太影响……奥卡姆剃刀原理。
Note：在实际过程中不考虑b这个bias的，因为我们更关心函数的平滑程度
----------
error来源：bias & variance（用于优化算法）
无偏估计：E=\\miu
因为越简单的model越不依赖于data，最极端的情况就是constant的model直接与data无关。
正常来说，简单的model可能（由于对data依赖性低）variance较小，但是由于model简单bias大（underfitting），复杂的model均值来看可能比较符合但是variance会大（over fitting）
如果出现预测的函数与实际函数偏差较大的话，我们认为出现了under fitting的情况，这种情况下我们考虑redesign这个model；如果模型在训练集上的error很小但是在验证集上error很大，那么很有可能出现了over fitting的情况，这时候我们可以考虑
1.增加训练集：这个是万灵丹，无论什么问题增加训练集都可以缓解，但是实际上可能很难，。因此码农们考虑自己生成训练集：字符识别的考虑转向、图像识别的考虑镜像对称一下、语音识别的考虑机翻……
2.regularization：加一个term，在前面有weight---表示你希望你的函数有多么平滑
但是可能伤害bias（可能导致target不包含在set里），因此需要调整weight。
训练集、测试集和验证集
优化：
深度学习李宏毅《机器学习》学习笔记
【深度学习】李宏毅《机器学习》学习笔记2021年8月16日P1-P2节-机器学习介绍和为什么要学习机器学习1950年，人工智能就出现了好厉害~~机器学习中包含了深度学习。早期的人工智能其实都是想当于给河狸装上一个先天的本能... 查看详情
李宏毅机器学习笔记：1.机器学习介绍(代码片段)
文章目录P1:机器学习介绍1.1人工智能、机器学习、深度学习关系1.2实现途径1.3实现方法1.4总结P2:我们为什么需要学习机器学习#Time:2021.08.23#内容：P1~P2P1:机器学习介绍1.1人工智能、机器学习、深度学习关系①什么是人工智能&#x... 查看详情
组队学习李宏毅的深度学习-1
一、学习总任务二、完成任务1Task01——机器学习介绍 Part1：任务综述 本任务主要是需要掌握机器学习的基本内容，包括简要历史、相关概念、主要相关技术的介绍。 Part2：主要内容笔记1.人工智慧，机器学... 查看详情
李宏毅《机器学习》丨4.deeplearning（深度学习）
Author：AXYZdong李宏毅《机器学习》系列参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef参考文档：DataWhale文档文章目录一、深度学习发展历史二、深度学习三个步骤2.1Step1：神经网络（Neuralnetwork）2.2Step2... 查看详情
《深度学习》--李宏毅学习笔记总结（待更新）
强化学习笔记：policy-basedapproach
主要内容来自李宏毅老师的视频：【李宏毅】2020最新课程(完整版)强化学习-71.作業十五MLLecture23-1-DeepRe_哔哩哔哩_bilibili1强化学习概念复习 2像深度学习一样分析强化学习2.1深度学习三部曲这是李宏毅教授之前在介绍深度学... 查看详情
分类：概率生成模型-李宏毅机器学习笔记
目录1.若用回归模型硬train分类任务2.二分类任务2.1 概率生成模型3.数学上的形式1.若用回归模型硬train分类任务如图，class2的标签是-1（红色的点），class1的标签是1（蓝色的点），横纵坐标是特征值。... 查看详情
李宏毅机器学习课程笔记
课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节Regression从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之... 查看详情
学习笔记李宏毅2021春机器学习课程第5.1节：transformer
文章目录1序列到序列的模型2Seq2seqmodel常见的应用场景2.1聊天机器人2.2问题回答(QA)2.3文法剖析2.4多标签分类2.5对象检测3Seq2seqmodel的整体架构4编码器的具体架构1序列到序列的模型Transformer本质上就是一个Sequence-to-sequence的model... 查看详情
李宏毅《机器学习》丨1.introductionofthiscourse（机器学习介绍）
Author：AXYZdong李宏毅《机器学习》系列参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef参考文档：DataWhale文档文章目录一、人工智能、机器学习和深度学习二、机器学习（MachineLearning）三、机器学习相关的技... 查看详情
机器学习入门
...站白板推导；白板系列笔记DataWhale：机器学习实践代码李宏毅《机器学习/深度学习》2021课程（国语版本）;在线笔记书籍书籍推荐包括：西瓜书，公式推导南瓜书；机器学习方法(李航)深度学习深度学习是基于基于机器学习的延... 查看详情
可解释机器学习（explainable/interpretablemachinelearning）的原理和应用（李宏毅视频课笔记）
文章目录0前言1IntroductionofExplainable/InterpretableML1.1WhyweneedExplainableML?1.2Interpretablev.s.Powerful2LocalExplanation2.1IntroductionofLocalExplanation2.1.1RemovingWay2.1.2ModifyingWay2.1.3Limitatio 查看详情
学习笔记李宏毅2021春机器学习课程第7.2节：自监督学习
文章目录1为什么BERT有用?2多语言的BERT2.1跨语言的阅读理解2.2跨语言对齐1为什么BERT有用?最常见的解释是，当输入一串文本时，每个文本都有一个对应的向量。对于这个向量，我们称之为embedding。它的特别之处在于... 查看详情
《2021机器学习-李宏毅》学习笔记
文章目录简介内容示意个人学习笔记01-Regression02.1-deeplearning-general_guidance02.2-deeplearning-类神经网络优化技巧02.3-deeplearning-loss_of_classification03-CNN04-Self-attention05-Transformer06-Generative_Model(GAN)07-Self-S 查看详情
深度学习中transformer的原理和方法（李宏毅视频课笔记）
文章目录0前言1RNNtoCNN2Self-Attention2.1BaseMethod2.2MatrixRepresentation2.3Multi-headSelf-attention2.4PositionalEncoding3Seq2SeqBasedonSelf-Attention3.1BaseMethod3.2Transformer4AttentionVisualization0前言本节学 查看详情
李宏毅机器学习笔记（2016年的课程）：supportvectormachine(svm)(代码片段)
目录1.各种loss函数2.线性SVM3.kernel3.1前言3.2各种kernel3.3kernelVS神经网络1.各种loss函数f=np.arange(-3,3+1e-8,0.001)py=np.array([1.]*len(f))defget_ideal(yf):returnnp.where(yf>=0,0,1)defsquare(yf):retur 查看详情
分类|深度学习（李宏毅）
一、生成模型假设有两个类别(C_1、C_2)，(P(C_1|x)=fracP(x|C_1)P(C_1)P(x|C_1)P(C_1)+P(x|C_2)P(C_2))其中(P(C_1)、P(C_2))为先验分布，(P(x|C_1)、P(x|C_2))都是高斯分布，服从以下分布：[f_mu,Sigma(x)=fra 查看详情
《深度学习》李宏毅--task1机器学习介绍
机器学习介绍 机器学习（MachineLearning），就是让机器自动找函数。如语音识别，就是让机器找一个函数，输入是声音信号，输出是对应的文字。如下棋，就是让机器找一个函数，输入是当前棋... 查看详情