机器学习笔记:autoencoder

UQI-LIUWJ UQI-LIUWJ     2023-01-15     700

关键词:

1 autoencoder 介绍

        这是一个无监督学习问题,旨在从原始数据x中学习一个低维的特征向量(没有任何标签)

        encoder 最早是用线性函数+非线性单元构成(比如Linear+nonlinearity),之后的模型有使用多层全连接、Relu+CNN进行encoder操作的 。

        那么,我们怎么从原始数据中学习特征向量z呢?

        核心思路就是使用一个decoder

 

 这里的tconv就是机器学习笔记: Upsampling, U-Net, Pyramid Scene Parsing Net_UQI-LIUWJ的博客-CSDN博客中所介绍的“up convolution”

在训练完毕之后,丢弃decoder,使用encoder来进行后续的任务 

2 特征向量z的维度

z的维度需要比输入x的维度小——>这样才能压缩数据

如果z的维度比输入x的维度大或者等于输入x的维度的话——>模型没有学习新特征的“动力”——>直接将x复制到z,多出来的维度补0即可

3 auto-encoder变体

3.1 de-noising autoencoder

在输入中假如噪声,但是学习的特征希望能还原成没有噪声的版本

 ——>可以更好地学习特征表示

——>避免直接复制——>所以每一个epoch加在输入上的噪声是不一样的

3.2 stacked auto-encoder(SAE)

多层auto-encoder,训练完毕后也是去掉所有的decoder

 4 AE作为生成模型

4.1 context encoder

        抹去图像的某一块,通过auto-encoder,看看能不能还原成整张图片/判断抹去的这一块学到的特征和实际这一块之间的区别

 

 4.1.1 不同的遮法

 4.2  temporal context encoder

        对于图像来说,我们的可以遮去一些像素点,然后通过auto-encoder的方式来学习这些遮掉的像素点。那么对于视频来说,我们也可以遮去一些视频中的“像素点”,也即遮掉某几帧,然后同样用auto-encoder来进行学习

   5 auto-encoder应用:半监督学习

        当我们有很多的图像,但是只有很少的label的时候,我们可以先对不适用标签,对图像使用auto-encoder。训练完毕之后,我们丢弃decoder,然后再encoder后面接入分类器,学习标签y',将其和真实特征y进行比对      

        

 

 

深度学习keras框架笔记之autoencoder类

  深度学习Keras框架笔记之AutoEncoder类使用笔记  keras.layers.core.AutoEncoder(encoder,decoder,output_reconstruction=True,weights=None)  这是一个用于构建很常见的自动编码模型。如果参数output_reconstruction=True,那么dim(in 查看详情

深度学习笔记十二:自编码器autoencoder

参考:reducingthedimensionalityofdatawithneuralnetworks 查看详情

深度学习笔记十二:自编码器autoencoder

参考:reducingthedimensionalityofdatawithneuralnetworks 查看详情

机器学习笔记:vae

1VAE介绍         在机器学习笔记:autoencoder_UQI-LIUWJ的博客-CSDN博客 中,我们知道了auto-encoder。但是auto-encoder有一个不足之处,就是因为auto-encoder不是一个概率模型,所以没法从学习的模型中生成新的数据... 查看详情

autoencoders在nlp中的应用

...深度学习能够在复杂的任务熵表现出强大能力的原因。2.AutoEncoder介绍在接下来的 查看详情

学习笔记tf037:实现强化学习策略网络

...某个行动当下带来的利益,还要看行动未来带来的价值。AutoEncoder属于无监督学习,MLP、C 查看详情

学习笔记tf025:自编码器

...到宏观。稀疏编码(SparseCoding),基本结构组合。自编码器(AutoEncoder),用自身高阶特征编码自己。期望输入/输出一致,使用高阶特征重构自己。Hinton教授在Science发表文章《Reducingthedime 查看详情

autoencoder

参考技术A1.简介  Autoencoder是一种无监督学习过程,由encode和decode构成,给定输入之后,经过encode将输入编码成code,然后在经过decode将code解码成输出,通过不断地训练,使得输入和输出尽可能相似。通过控制encode的输出... 查看详情

机器学习笔记

机器学习笔记(一)文章目录机器学习笔记(一)概述机器学习的定义机器学习的一些基本术语误差与过拟合评估的方法训练集与测试集的划分留出法交叉验证法自助法概述机器学习是目前信息技术中最激动人心... 查看详情

机器学习笔记

机器学习笔记(一)文章目录机器学习笔记(一)概述机器学习的定义机器学习的一些基本术语误差与过拟合评估的方法训练集与测试集的划分留出法交叉验证法自助法概述机器学习是目前信息技术中最激动人心... 查看详情

机器学习笔记

机器学习笔记(一)文章目录机器学习笔记(一)概述机器学习的定义机器学习的一些基本术语误差与过拟合评估的方法训练集与测试集的划分留出法交叉验证法自助法概述机器学习是目前信息技术中最激动人心... 查看详情

机器学习常见性能指标《机器学习实战》笔记

均方根误差平均绝对误差 查看详情

机器学习基石笔记1

机器学习基石笔记1lecture1:TheLearningProblem1.机器学习是什么通过对数据的经验计算(experiencecomputed),提升性能度量3个关键性质a)存在一种可以学习的潜在的模式(underlyingpattern)b)没有明确的可编程的定义c)存在和模式相关的数据2.机器... 查看详情

机器学习-白板推导系列(三十二)-变分自编码器(vae,variationalautoencoder)

1.Introduction本小节主要介绍的是变分自编码器(Variational  AutoEncoder)\\colorred变分自编码器(Variational\\;AutoEncoder)变分自编码器(VariationalAutoEncoder),VAE在之前的变分推断中就有介绍 查看详情

机器学习基石笔记11——机器可以怎样学习

Lecture11:LinearModelsforClassification11.1LinearModelsforBinaryClassification11.2StochasticGradientDescent11.3MulticlassviaLogisticRegression11.4MulticlassviaBinaryClassification题外话: 查看详情

技术+案例详解无监督学习autoencoder(代码片段)

摘要:本篇文章将分享无监督学习Autoencoder的原理知识,然后用MNIST手写数字案例进行对比实验及聚类分析。本文分享自华为云社区《[Python人工智能]十五.无监督学习Autoencoder原理及聚类可视化案例详解》,作者:e... 查看详情

机器学习笔记

10:281.引言(Introduction)1.1Welcome1.2什么是机器学习(WhatisMachineLearning)1.3监督学习(SupervisedLearning)1.4无监督学习(UnsupervisedLearning)2单变量线性回归(LinearRegressionwithOneVariable)2.1模型表示(ModelRepresentation)2.2代价函数( 查看详情

《机器学习》学习笔记:线性回归逻辑回归

《机器学习》学习笔记(一):线性回归、逻辑回归   本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方,欢迎大家指出,我会努力改正。   在学习《机器学习》时,我主要是通过Andrew... 查看详情