斯坦福cs231n—深度学习与计算机视觉----学习笔记课时6

草莓鲍鲍 草莓鲍鲍     2022-08-28     283

关键词:

课时6 线性分类器损失函数与最优化(上)

多类SVM损失:这是一个两分类支持向量机的泛化

SVM损失计算了所有不正确的例子,将所有不正确的类别的评分,与正确类别的评分之差加1,将得到的数值与0作比较,取两者中的最大值。然后将所有的数值进行求和。用平均值来代替不会影响结果。

这些评分都是无标度的,因为我们可以随便选择W,让它成比例地增大或者减小,然后分数也随之成比例地变化。所以分数的大小和它的量度的选择紧密相关,将安全系数的值设为1在某种程度上来说只是一个随意的选择。

在实际的数据集中使用这个损失函数,可能会有一些我们不太希望的性质。我们现在有整个W空间,并且根据这个损失函数他们的工作方式都是相同的,我们希望对于所有W而言有一部分的W是有优先权的,这一优先权基于我们希望W拥有的特点,不用去管数据集,只关心使W达到最优的特点。

正则化

可以用它来处理我们的损失函数,加上了一项正则化函数R(W),而R(W)衡量了W的好坏,我们不仅仅想要数据拟合得更好,也希望能优化W,所以我们找到了一些方法来证明他们是确实有效的,事实上,正则化是为了权衡你的训练损失和你用于测试集的泛化损失,所以正则化是一系列通过损失来使目标相加的技术。

 L2正则化要做的就是尽可能地展开w权重,以便于考虑到所有输入特征或者说所有的像素,并且尽可能地利用这些维度

为什么要用正则化?

假设你有多组权重可以得到相同分数,我们想以某种方式选出最好的。

Softmax分类器

也就是一般化的逻辑斯蒂回归,他是在这些分数的基础上表明损失的一种不同的函数形式,这种解释就是说他是在这些分数基础上实现的,这些分数不是随机的,也不是表明某种边界。从一个问题出发,我们有特定的解读方式,这种方式有一定的规则,这些分数是对应不同类未经标准化的对数概率。

 

斯坦福cs231n—深度学习与计算机视觉----学习笔记课时14&&15

课时14卷积神经网络详解(上)CNN处理的是一些数据块,在这之间有很多层,一系列的层将输入数据变换为输出数据,所以完成操作的中间量不仅是NN时候讲的那些向量,而是立体结构,有宽,高和深度,在整个计算过程中要保... 查看详情

斯坦福cs231n—深度学习与计算机视觉----学习笔记课时26&&27

课时26图像分割与注意力模型(上)语义分割:我们有输入图像和固定的几个图像分类,任务是我们想要输入一个图像,然后我们要标记每个像素所属的标签为固定数据类中的一个使用卷积神经,网络为每个小区块进行分类,对... 查看详情

斯坦福cs231n—深度学习与计算机视觉----学习笔记课时12&&13

课时12神经网络训练细节part2(上)训练神经网络是由四步过程组成,你有一个完整的数据集图像和标签,从数据集中取出一小批样本,我们通过网络做前向传播得到损失,告诉我们目前分类效果怎么样。然后我们反向传播来得... 查看详情

斯坦福cs231n—深度学习与计算机视觉----学习笔记课时8&&9

课时8反向传播与神经网络初步(上)反向传播在运算连路中,这是一种通过链式法则来进行递推的计算过程,这个链路中的每一个中间变量都会对最终的损失函数产生影响。链式法则通常包含两部分,局部梯度和后一层的梯度... 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之knn(代码片段)

课程作业原地址:CS231nAssignment1作业及整理:@郭承坤&&@Molly&&@寒小阳时间:2018年1月。出处:http://blog.csdn.net/han_xiaoyang/article/details/79138352任务背景用K最近邻的方法去完成图像识别的任务代 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之tensorflow实践(代码片段)

课程作业原地址:CS231nAssignment1作业及整理:@邓妍蕾&&@郭承坤&&@寒小阳时间:2018年2月。出处:http://blog.csdn.net/han_xiaoyang/article/details/79278930在前面的作业中你已经写了很多代码来实现很多的神... 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之特征抽取与图像分类提升(代码片段)

课程作业原地址:CS231nAssignment1作业及整理:@邓妍蕾&&@Molly&&@寒小阳时间:2018年1月。出处:http://blog.csdn.net/han_xiaoyang/article/details/791400840.前言我们已经看到,通过用输入 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之神经网络细解与优化尝试(代码片段)

课程作业原地址:CS231nAssignment1作业及整理:编写:@土豆&&@郭承坤&&@寒小阳时间:2018年2月。出处:http://blog.csdn.net/han_xiaoyang/article/details/79278882待折腾的数据集关于神经网络你起码 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之基于cifar10的卷积神经网络实践

课程作业原地址:CS231nAssignment1作业及整理:@张铮&&@郭承坤&&@寒小阳时间:2018年2月。出处:http://blog.csdn.net/han_xiaoyang/article/details/79278917问题描述:使用IPythonNoteb 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之softmax图像多分类

课程作业原地址:CS231nAssignment1作业及整理:@林凡莉&&@Molly&&@寒小阳时间:2018年1月。出处:http://blog.csdn.net/han_xiaoyang/article/details/791383521.任务这次练习跟SVM练习类似。你将完成下面的任务ÿ... 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之svm图像分类(代码片段)

课程作业原地址:CS231nAssignment1作业及整理:@谭斌&&@Molly&&@寒小阳时间:2018年1月。出处:http://blog.csdn.net/han_xiaoyang/article/details/70214565任务背景用支持向量机(SVM)的方法去完成图像识别多分类... 查看详情

全球名校课程作业分享系列--斯坦福计算机视觉与深度学习cs231n之双层神经网络完成图像多分类

课程作业原地址:CS231nAssignment1作业及整理:@林凡莉&&@Molly&&@寒小阳时间:2018年1月。出处:http://blog.csdn.net/han_xiaoyang/article/details/791393951任务在这个练习里,我们将实现一个完全连接的神... 查看详情

深度学习斯坦福cs231n课程笔记

...作暂时用不上,我就先略过了。突然发现这两个课程都是斯坦福的,牛校就是牛。课程主 查看详情

资源整合

...料百度云盘:链接提取码:36q8?????B站:斯坦福大学CS231n计算机视觉?????B站:斯坦福大学CS244n自然语言处理?????《神经网络与深度学习》:邱锡鹏复旦大学??????软件开发资源B站:《设计模式》????开发语言资源B站:《C++STL教程》???... 查看详情

斯坦福大学计算机视觉课程cs231n——第一课:课程介绍计算机视觉概述

  什么是计算机视觉?计算机视觉,顾名思义,就是针对视觉数据的研究。在我们的世界,过去短短几年里视觉数据爆炸式增长到夸张的地步。基于一项2015年的研究,预计到2017年,互联网上80%的数据都... 查看详情

全球名校课程作业分享系列--斯坦福cs231n之rnn与计算机看图说话(代码片段)

课程作业原地址:CS231nAssignment3作业及整理:@张礼俊&&@Molly&&@寒小阳时间:2018年2月。出处:http://blog.csdn.net/han_xiaoyang/article/details/793164111.问题背景在问题1里,我们要训 查看详情

斯坦福大学深度学习与自然语言处理第一讲:引言

...国人,大学期间涉足自然语言处理,在德国读研时又专攻计算机视觉,之后在斯坦福大学攻读博士学位,拜师NLP领域的巨牛 ChrisMa 查看详情

《深度学习与计算机视觉算法原理框架应用》pdf+《深度学习之pytorch实战计算机视觉》pdf

下载:https://pan.baidu.com/s/12-s95JrHek82tLRk3UQO_w《深度学习与计算机视觉算法原理、框架应用》PDF,带书签,347页。《大数据架构详解:从数据获取到深度学习》PDF,带书签,373页。配套源代码。下载:https://pan.baidu.com/s/1P0-o29x0ZrXp8Wo... 查看详情