[人工智能-深度学习-13]:神经网络基础-逻辑分类标签与onehot编码

文火冰糖的硅基工坊 文火冰糖的硅基工坊     2023-01-09     233

关键词:

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120585934


目录

第1章 逻辑分类概述

第2章 分类编码的诉求

第3章 OneHot编码


第1章 逻辑分类概述

所谓逻辑分类,分为2分类和多分类,其中二分类是逻辑分类的基础。

二分类的本质上就是其标签值不是任意值,而是确定性的二进制数值:0或1, 0表示“不是”该分类,1表示为“是”该分类。

多分类是基于二分类的,在多分类中,为了支持底层的标签依然是0或1,为了保持与分类的一致性,在多分类中采用了一种称为OneHot的编码方式。

第2章 分类编码的诉求

如上图,有10个数字,即10种分类,每个样本标签为0-9, 0-9的标签,可以多种编码方式:

(1)使用0-9的数值对0-9的标签进行编码,这是最自然的一种编码方式,但这种编码方式做逻辑分类中遇到了严重的问题:无法通过Yi_pred  - Yi表示预测值与标签值的距离。

 在上图中,首先看标签值本身,按理说0-9个标签是相互独立的,他们的距离是相等的。

然后实际上0和9的距离是最大的。相邻数值之间的距离是1,直观上看,我们很难说1就比9更靠近0. 但如果从上述标签的编码数值来看,1-0 =1, 9-0=9, 数值上1更靠近0,但从逻辑分类上看,1和9与0的距离是一样的!!!因此上述的编码方式,不适合逻辑分类。

其二,比如sigmod函数的输出值Yi_pred始终落在【0,1】之间,按照上述编码,Yi_pred到0和1的始终要不到9的距离近。这很显然不符合我们的分类需求。

其三,如果神经元的输出,没有sigmod,可以是任何值,比如10000,从数值距离上看,10000比9更近,但很难说,它就是“9的”输出!!!

因此,需要一种全新的编码方式,OneHot编码。

第3章 OneHot编码

OneHot编码, 任何分类对应的标签都用“1”表示,只是所处的维度不同,他们所在的维度,通过在OneHot编码中的下标索引来区分。

如图形”0“的维度使用下标0,如果其下标对应的二进制比特是1,则表示为图形”0“

如图形”1“的维度使用下标1,如果其下标对应的二进制比特是1,则表示为图形”1“

如图形”2“的维度使用下标2,如果其下标对应的二进制比特是1,则表示为图形”2“

如图形”2“的维度使用下标3,如果其下标对应的二进制比特是1,则表示为图形”3“

 上述是多分类的示意图:

(1)每一个分类都有自己独立的标签Yi  (OneHot编码)。

(2)每一个分类的标签编码后的值都是数值1.

(3)每一个分类都有自己独立的输出Yi_pred。

(4)每个独立的输出都在[0,1]之间,其输出值的大小了与标签值相似的程度,输出预测值,越接近于1,表明与该分类越相似。sigmod和softmax函数就得到这样的效果,sigmod是针对单个二分类情形,而softmax是针对多分类情形,确保每个维度的输出在[0,1]之间。

(5)对于某个输入,其loss是每个维度相似度(距离)的汇总。


作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120585934

13.深度学习-卷积

1.简述人工智能、机器学习和深度学习三者的联系与区别。人工智能是目的,是结果。深度学习、机器学习是方法、是工具。机器学习,一种实现人工智能的方法;机器学习都可以精准地被定义为:1任务T;2.训练过程E;3.模型表... 查看详情

[人工智能-深度学习-14]:神经网络基础-常见loss损失函数之逻辑分类,对数函数,交叉熵函数

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120559396目录第1章什么损失函数1.1什么是机器学习1.2什么是监督式机器学... 查看详情

[人工智能-深度学习-51]:循环神经网络rnn基本原理详解

...算法参考:第1章详解前的铺垫1.1组合逻辑VS时序逻辑[人工智能-深度学习-47]:卷积神经网CNN+循环神经网络RNN与组合电路+时 查看详情

深度学习简介——卷积神经网络

   深度学习简介深度学习是指多层神经网络上运用各种机器学习算法解决图像,文本等各种问题的算法集合。深度学习从大类上可以归入神经网络,不过在具体实现上有许多变化。深度学习的核心是特征学习,旨在通... 查看详情

机器学习笔记-cnn-神经网络

转自:http://blog.csdn.net/kevin_bobolkevin/article/details/50494034深度学习之一---什么是神经网络刚开始学习深度学习,最近把所学的整理了一下,也是对所学的一个总结。深度学习的概念源于人工神经网络的研究。为了更好地理解深度学... 查看详情

人工智能机器学习深度学习神经网络,都有什么区别,卷积神经网络和全连接神经网络的区别

目录卷积神经网络和全连接神经网络的区别人工智能、机器学习、深度学习、神经网络,都有什么区别 查看详情

人工智能深度学习入门练习之(30)深度学习–人工神经网络

本章我们将从生物神经元开始学习人工神经网络。生物神经元哺乳动物的大脑有数十亿个神经元。神经元是人脑中相互连接的神经细胞。神经元参与处理和传递化学信号和电信号,它们接受信号输入,在细胞核中处理信号,如果... 查看详情

14深度学习-卷积

1.简述人工智能、机器学习和深度学习三者的联系与区别。答:机器学习是现在人工智能领域中主流的一种方法,除了机器学习,科学家也尝试过其他方法在人工智能领域进行诠释和发展,而深度学习则是机器学习里面主流的方... 查看详情

2.深度学习与神经网络基础

1.人工智能、机器学习和深度学习的概念及关系人工智能(ArtificialIntelligence,AI)——为机器赋予人的智能,即计算机能够像人类一样完成更智能的工作。机器学习是实现人工智能的一种手段。何为“学习”?“如果一个程序可... 查看详情

神经网络与深度学习摘要第1章绪论

...章绪论文章目录【神经网络与深度学习摘要】第1章绪论1.人工智能1.1图灵测试1.2人工智能的主要领域1.3人工智能的发展历史1.4人工智能的流派2.机器学习2.1机器学习定义2.2使用机器学习模型步骤3.表示学习3.1表示学习定义3.2语义... 查看详情

人工智能------>第四天,深度学习,人工神经网络,卷积神经网络,opencv,音频采集播放,百度ai平台的使用(代码片段)

深度学习   以神经网络算法为基础的机器学习   深度学习算法:      BP神经网络      卷积神经网络      循环神经网络      基于注意的循环神经网络      对抗神经网络  神经网络      脑神经网络... 查看详情

[人工智能-深度学习-8]:神经网络基础-机器学习深度学习模型模型训练

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120462734目录第1章白话机器学习第2章机器学习的模型与步骤 2.1 深度学... 查看详情

14深度学习-卷积(代码片段)

1.简述人工智能、机器学习和深度学习三者的联系与区别。  人工智能是最早出现的,其次是机器学习,最后是深度学习,当今人工智能大爆炸的核心驱动。        区别和联系:   2.全连接神经网络与卷积... 查看详情

[人工智能-深度学习-7]:神经网络基础-人工神经网络ann

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120405856目录第1章人工神经网络ANNG概述1.1生物神经网络回顾1.2人工神经... 查看详情

深度学习神经网络介绍

...简介在介绍深度学习之前,我们先看下这幅图:人工智能>机器学习>深度学习深度学习是机器学习的一个子集,也就是说深度学习是实现机器学习的一种方法。与机器学习算法的主要区别如下图所示:传统机... 查看详情

14深度学习-卷积(代码片段)

1.简述人工智能、机器学习和深度学习三者的联系与区别。解析:人工智能是机器诠释的人类智能,是机器学习和深度学习后想实现的结果和目的,机器学习是实现人工智能的方法,深度学习是机器学习算法中的一种算法,一种... 查看详情

深度学习和传统的人工神经网络机器学习有啥区别? [关闭]

】深度学习和传统的人工神经网络机器学习有啥区别?[关闭]【英文标题】:WhatisthedifferencebetweenDeepLearningandtraditionalArtificialNeuralNetworkmachinelearning?[closed]深度学习和传统的人工神经网络机器学习有什么区别?[关闭]【发布时间】... 查看详情

14深度学习-卷积

1.简述人工智能、机器学习和深度学习三者的联系与区别。  区别:(1)人工智能:目的和结果,深度学习,机器学习是方法,是工具。(2)机器学习:一种实现人工智能的方法;机器学习都可以被精准地定义为:1、任... 查看详情