正文 

当前位置： 首页 > IT > java教程

循环神经网络rnn动手学深度学习v2

AI架构师易筋 AI架构师易筋     2022-12-04     635

关键词：

1. 循环神经网络 RNN









2. Q&A

    1. GPT3, BERT 都是基于Transformer模型的改进，目前也是最火的。
    1. voice和image融合算法，用多模态模型。比如自动驾驶领域的运用。

参考

https://www.bilibili.com/video/BV1D64y1z7CA/

长短期记忆网络lstm深层循环神经网络deeprnn双向循环神经网络bidirectionalrnn动手学深度学习v2

...短期记忆网络LSTM2.长短期记忆网络LSTM代码实现3.深层循环神经网络DeepRNN4.深层循环神经网络DeepRNN代码实现5.双向循环神经网络BidirectionRNN双向RNN不能用于推理。双向RNN做特征提取，完形填空，翻译。6.双向循环神经网络Bidi... 查看详情

长短期记忆网络lstm深层循环神经网络deeprnn双向循环神经网络bidirectionalrnn动手学深度学习v2

...短期记忆网络LSTM2.长短期记忆网络LSTM代码实现3.深层循环神经网络DeepRNN4.深层循环神经网络DeepRNN代码实现5.双向循环神经网络BidirectionRNN双向RNN不能用于推理。双向RNN做特征提取，完形填空，翻译。6.双向循环神经网络Bidi... 查看详情

门控循环单元gru动手学深度学习v2

1.门控循环单元GRU不是每个元素都很重要，比如猫重复了很多次，只有第一次看到猫才比较重要，其它的猫可以被忘记掉。老鼠只出现一次，但也是很重要的。2.代码实现简洁实现3.Q&AGRU相比RNN多了很多参数࿰... 查看详情

门控循环单元gru动手学深度学习v2

1.门控循环单元GRU不是每个元素都很重要，比如猫重复了很多次，只有第一次看到猫才比较重要，其它的猫可以被忘记掉。老鼠只出现一次，但也是很重要的。2.代码实现简洁实现3.Q&AGRU相比RNN多了很多参数࿰... 查看详情

深度学习基础-基于numpy的循环神经网络（rnn）实现和反向传播训练

本文是深度学习入门：基于Python的实现、神经网络与深度学习（NNDL）以及动手学深度学习的读书笔记。本文将介绍基于Numpy的循环神经网络的前向传播和反向传播实现，包括RNN、LSTM和GRU。一、概述1.1循环神经网络（RNN）循环神... 查看详情

序列到序列学习seq2seq束搜索beamsearch动手学深度学习v2

1.序列到序列学习seq2seq2.代码实现3.束搜索beamsearch4.Q&A现在seq2seq都用transformer了。但是过段时间,有可能又会发现可能RNN/LSTM会更好。深度神经网络是一波又一波的。参考https://www.bilibili.com/video/BV16g411L7FG?p=1 查看详情

全连接卷积神经网络fcnfullyconvolutionalnetwork动手学深度学习v2

1.全连接卷积神经网络FCNfullyconvolutionalnetwork2.代码实现3.Q&ARCNN系列精度比较高，速度会慢点。U-Net就是用小的转置卷积有更好的效果。参考https://www.bilibili.com/video/BV1af4y1L7Zu?p=1 查看详情

深度神经网络硬件gpu单机多卡并行动手学深度学习v2

1.单机多卡并行GPU安装靠得太紧，容易烧掉。下面这张图，用了一个月就烧掉了一块GPU。参考https://www.bilibili.com/video/BV1vU4y1V7rd/?spm_id_from=trigger_reload 查看详情

动手学深度学习v2(代码片段)

...01课程安排目标内容深度学习的核心之一：就是卷积神经网络；从最早的LeNet开始，引起深度学习狂潮的AlexNet;循环神经网络是一个时间上的神经网络。形式你将学到什么？除了要知道是什么？what怎么做how之外... 查看详情

使用块的网络vgg动手学深度学习v2pytorch

1.使用块的网络VGGhttps://cv.gluon.ai/model_zoo/classification.html2.代码实现VGG网络测试准确度对比：VGGtestacc0.917AlexNettestacc0.883LeNettestacc0.827对比一下AlexNet的精确度3.Q&AVGG把网络做的模块化，可以训练更深的网络，更简单 查看详情

3.1线性回归解析解动手学深度学习v2

3.1线性回归解析解【动手学深度学习v2】1线性回归2损失函数3解析解1线性回归矩阵-向量乘法表示：X的每一行是一个样本，每一列是一种特征。2损失函数3解析解 查看详情

网络中的网络nin动手学深度学习v2pytorch(代码片段)

1.网络中的网络NiN网络中的网络NiN是基于AlexNet的尝试改进，去掉全连接层。网络中的网络NiN后面被使用的不多，但是去掉全连接层的思想被采用。全连接层最大的问题是用很多内存占用很大的计算带宽收敛很快，但是... 查看详情

深度学习结课总结和进阶学习优化算法动手学深度学习v2

1.优化算法2.课程总结和进阶学习感谢沐神参考https://www.bilibili.com/video/BV1bP4y1p7Gq/?spm_id_from=autoNext 查看详情

含并行连结的网络googlenet/inceptionv3动手学深度学习v2pytorch

1.含并行连结的网络GoogLeNet第一个神经网络可以做到超过100层。Inception块的名字，取自盗梦空间，就是不断深入到梦境中，不断深入。Inception使得参数减少，计算量也变低了。比直接用3x3Conv，5x5Conv卷积更小。h... 查看详情

2021-07-27深度学习基础与实践

深度学习基础与实践（七）一、RNN循环神经网络1.RNN的背景2.RNN的结构二、长短时记忆网络LSTM1.背景2.RNN的梯度消失/爆炸3.LSTM结构三、LSTM的变体1.peepholeconnection2.耦合(coupled)遗忘和输入单元3.GRU一、RNN循环神经网络1.RNN的背... 查看详情

实战kaggle比赛：图像分类（cifar-10）动手学深度学习v2

...mp;A凸函数表示有最优解。损失函数是个凸函数，但是神经网络大多数都是非凸的，一般神经网络是没有最优解的。momentum表示把曲线变得平滑一点。Scheduler前期选择的学习率大一点，后期学习率变小一点。类似年轻的... 查看详情

bert微调自然语言推理数据集bert微调代码实现动手学深度学习v2

1.BERT微调2.自然语言推理数据集3.BERT微调代码4.Q&A神经网络可以跨语言，跨领域。比如自然语言，视觉都在用Transformer。5.目标检测竞赛总结参考https://www.bilibili.com/video/BV15L4y1v7ts/?spm_id_from=autoNext 查看详情

bert预训练动手学深度学习v2

1.BERT预训练Transformer编码器2.BERT代码3.BERT预训练数据代码4.BERT预训练代码5.Q&A参考https://www.bilibili.com/video/BV1yU4y1E7Ns/?spm_id_from=autoNext 查看详情