关键词：
目录
1.若用回归模型硬train分类任务
如图，class 2 的标签是-1（红色的点），class 1 的标签是1（蓝色的点），横纵坐标是特征值。测试的时候输出可能不会正好就是1 或 -1，若输出接近1则认为是 class 1，接近-1则认为是 class 2，我们期待找到一条如图绿色的线能很好的分开两个标签，像左图回归任务训练出来的拟合线恰好就是绿色的线，绿色的线左上角是 class 2，右下角是 class 1；但是右图， 回归任务通常是让预测值和真实值的差越小越好，所以为了也能很好的拟合到包括右下角那一堆样本的所有样本，最终的拟合线可能是紫色的那条（相比于绿色的线，所有样本到紫色的线的距离要更小），但是就分类任务而言，即使是右图的情况我们也还是希望会是绿色的线，因为它可以很好的分开所有样本，但是紫色的会错分一些 class 1的样本。所以用回归模型来做分类任务不合适。
若是用如下的回归模型的思路来做多分类。例如将class 1 对应 1，class 2 对应 2，class 3 对应3，这也是不合适的，因为这会带上数值的大小关系，模型会认为相对class 1而言，class 3 和 class 2 更接近。
2.二分类任务
但是上图中的损失函数没法微分。
2.1 概率生成模型
如下图，有两个盒子，现在抽出了一个蓝色的球，问该蓝色的球是从1号盒子中抽出的概率是多少，若知道选取1、2号盒子的概率，以及从2两个盒子里选取蓝色的球的概率，就可以用贝叶斯公式求解。
将上题类比到二分类。将两个盒子换成两个类别，给定一个样本 x ，他属于某个类别的概率是多少，这时候我们需要知道选取两个类别gezhi的概率是多少，以及从每个类别中选取 x 的概率是多少。至于为啥叫做生成模型，因为给定任一一个 x ，只要知道上述4个值，我们就能求出该 x 出现的机率，当我们能求所有 x 出现的机率，我们就知道了 x 的分布，那么就可以用这个分布产生 x 。
下面通过神奇宝贝的例子来说明概率生成模型，给定一个神奇宝贝，判断其是 水系 的还是 一般系 的，每个神奇宝贝用一个向量来表示，训练集中有79个水系的，61个一般系的。
和 
用先验知识给出，即 
和 
在整个样本中出现的频率。
需要知道4个值，其中俩已经给出，那么剩下的两个值 
和 
该如何计算呢？至于为啥这俩值不直接也用先验知识给出，可能是类别就是固定的2，可以用统计方法给出，但是我们的模型是为了预测没有见过的那些样本的类别，这种我们不一定能从训练数据中用统计方法给出。例如下图中的海龟在训练集中就没有出现过。
下图是仅考虑两个特征的熟悉的神奇宝贝的分布，下图每一个点代表一个水系的神奇宝贝。海龟是训练集中未出现过的，但是我们不能说从下面的分布中挑到海龟的概率
是0。这个时候我们如何给出从水系的神奇宝贝里面跳到海龟的概率？我们可以认为训练集中的79个水系的神奇宝贝是从一个高斯分布中采样得到的，若能知道这个高斯分布我们就能给出 ，所以现在的问题变为如何通过训练集来找到这样的高斯分布。
下面引入高斯分布的介绍， 
相同 
不同（左图），代表概率分布的最高点不一样； 不同 相同（右图），代表概率分布的最高点一样，但是离散程度不一样。
所以，若是我们能从训练数据集中知道 和 ，如下图我们就能写出该分布的式子，那么任意给定一个 x ，我们都能拿到在该分布下采样出 x 的概率。
现在我们的问题就变成了如何找 和 ，如下图，这79个点可以从任何一个高斯分布中采样得到，因为高斯分布中采样出的点可以是空间中的任何点，只是有些地方几率高有些地方几率低，但是不存在几率精确为0的地方。右上角的高斯分布也能抽样出这79个点，不高几率很低；左下角的分布抽样出这79个点的概率就比较高了。下面用最大似然的概念来求解 和 ，他表示给定一个 和 ，我们采样出这79个点的概率，我们要找到一个分布使得它抽样这79个点的概率最大。
下面给出了，当给定所有训练样本的时候，最适合的那个高斯分布的 和 。
下图给出了，水系神奇宝贝和一般系神奇宝贝各自的高斯分布。
从前面可知有了高斯分布，给定任何一个样本我们就可以将进行预测了。
下图给出了测试集上的结果，分别用了两个特征和所有的特征，但是效果不理想。
通常的做法是不同的类别共享 ， 的规模是和特征的平方成正比的，当特征变多的时候， 的规模增长的也是很快的，共享 ，参数就不会太多，模型方差就不不太大，就不会过拟合。如下图，
的计算方式在下图中给出。
这种方式的效果比之前不共享 要好很多。共享 ，则分界线变成了直线了，像这种我们也称之为线性模型。
概率生成模型总结如下
朴素贝叶斯模型，即是原先的高维的奥斯分布的 除了对角线之外权威0，它会多一个假设所有的特征在该类别下独立。
3.数学上的形式
下面我们看看 z 是啥。
共享 ，可以得到，从下面我们就可以看到为啥边界线是直线，还有其实我们可以直接求解 w 和 b 。
机器学习笔记十八：概率分类思想
参考资料:李宏毅机器学习2017 查看详情
学习笔记李宏毅2021春机器学习课程第5.1节：transformer
...用场景2.1聊天机器人2.2问题回答(QA)2.3文法剖析2.4多标签分类2.5对象检测3Seq2seqmodel的整体架构4编码器的具体架构1序列到序列的模型Transformer本质上就是一个Sequence-to-sequence的model，我们经常缩写为Seq2seq，所有我们就先来讨... 查看详情
深度学习李宏毅《机器学习》学习笔记
【深度学习】李宏毅《机器学习》学习笔记2021年8月16日P1-P2节-机器学习介绍和为什么要学习机器学习1950年，人工智能就出现了好厉害~~机器学习中包含了深度学习。早期的人工智能其实都是想当于给河狸装上一个先天的本能... 查看详情
《2021机器学习-李宏毅》学习笔记
文章目录简介内容示意个人学习笔记01-Regression02.1-deeplearning-general_guidance02.2-deeplearning-类神经网络优化技巧02.3-deeplearning-loss_of_classification03-CNN04-Self-attention05-Transformer06-Generative_Model(GAN)07-Self-S 查看详情
李宏毅机器学习2021视频-p2学习笔记系列
1 机器学习的基本概念 2.机器学习的分类Regression(回归)就是找到一个函数function，通过输入特征x，输出一个数值 Scalarclassification(分类)：给定类别，选择正确的一种（围棋也是一种分类，知道下一步棋子... 查看详情
李宏毅2020机器学习深度学习笔记2
实验中：learningrate调太大太小都不好，应该先生成loss函数然后观察一会儿再让他跑着 实际优化：因为我们希望在离target远的时候大步走，越靠近target越慢，因此我们可以用\\eta^t进一步，我们知道learningrat... 查看详情
分类|深度学习（李宏毅）
一、生成模型假设有两个类别(C_1、C_2)，(P(C_1|x)=fracP(x|C_1)P(C_1)P(x|C_1)P(C_1)+P(x|C_2)P(C_2))其中(P(C_1)、P(C_2))为先验分布，(P(x|C_1)、P(x|C_2))都是高斯分布，服从以下分布：[f_mu,Sigma(x)=fra 查看详情
李宏毅机器学习笔记：1.机器学习介绍(代码片段)
文章目录P1:机器学习介绍1.1人工智能、机器学习、深度学习关系1.2实现途径1.3实现方法1.4总结P2:我们为什么需要学习机器学习#Time:2021.08.23#内容：P1~P2P1:机器学习介绍1.1人工智能、机器学习、深度学习关系①什么是人工智能&#x... 查看详情
机器学习李宏毅——transformer
...f0c;在文字上的话例如聊天机器人、文章摘要等等，在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量，输出向量都可以用这个 查看详情
李宏毅2020机器学习深度学习笔记1+2&&深度学习基础与实践课程笔记2
...：使用“高质量”的训练数据，构建“合适”的模型，以“更佳地”完成任务。本质：让机器自动帮人类找函数。历史：早期称为模式识别，当时更偏向于具体的应用任务 查看详情
李宏毅机器学习|图神经网络graphnerualnetworks(gnn)|学习笔记-part1
...络的输入（张量）。可以做的事情主要包括：分类和生成 如何做？模仿卷积的过程 然后卷积有两种方式：基于空间的卷积（Spatial-basedconvolution）和基于频域的卷积（Spectral-basedconvolution）2Road... 查看详情
李宏毅机器学习课程笔记
课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节Regression从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之... 查看详情
学习笔记李宏毅2021春机器学习课程第7.2节：自监督学习
...处在于，这些向量代表了输入词的含义。例如，模型输入“台湾大学”，输出4个向量。这4个向量分别 查看详情
机器学习笔记之生成模型综述监督学习与无监督学习(代码片段)
...的对象是否在样本分布自身。例如逻辑回归与朴素贝叶斯分类器。虽然这两个算法均处理基于监督学习的分类任务，并且均是软分类算法，但关注点截然不同：逻辑回归(Logistic Regression\\textLogisticRegressionLogistic Regressi... 查看详情
李宏毅机器学习p5学习笔记
...用，必须使用子类。数据加载完了，接着看线性模型：损失函数 最优化（计算梯度） training的步骤 这节课老师快速介绍了一下使用pytorch深度学习的过程，还是需要看看练习题怎么做的，这... 查看详情
李宏毅机器学习p5学习笔记
...用，必须使用子类。数据加载完了，接着看线性模型：损失函数 最优化（计算梯度） training的步骤 这节课老师快速介绍了一下使用pytorch深度学习的过程，还是需要看看练习题怎么做的，这... 查看详情
学习笔记-李宏毅gan（生成对抗网络）全系列
文章目录前言相关链接1.Introduction1.1BasicIdeaofGAN1.2GANasstructuredlearning1.3Generator可以自己学吗？VAE（VariationalAuto-encoder）2.CGAN,ConditionalGenerationbyGAN2.1discrimina... 查看详情
李宏毅2023春季机器学习课程
...了一款图像增强软件开箱即用，涵盖主流模型的图像分类|主干网络学习/对比/魔改项目一键转换与编辑图像标注文件软件，极大提高效率更新日志日期项目2023/02/25更新Topic【正确认识ChatGPT】及作业一课程地址项目内容视... 查看详情