关键词:
文章目录
版权声明:本文为博主原创文章,转载请注明原文出处!
写作时间:2019-03-02 12:46:15
本文部分图片素材来自互联网,如有侵权,请联系作者删除!
最简单的RNN回归模型入门(PyTorch版)
RNN入门介绍
至于RNN的能做什么,擅长什么,这里不赘述。如果不清楚,请先维基一下,那里比我说得更加清楚。
我们首先来来看一张经典的RNN模型示意图!
图分左右两边:左边给出的RNN是一个抽象的循环结构,右边是左边RNN展开以后的形式。先来看右边的结构,从下往上依次是序列数据的输入X(图中的绿色结构,可以是时间序列,也可以是文本序列等等)。对于t时刻的x经过一个线性变换(U是变换的权重),然后与t-1时刻经过线性变换V的h相加,再经过一个 非线性激活(一般使用tanh或者relu函数)以后,形成一个t时刻的中间状态h,然后再经过一个线性变换(W)输出o ,最后再经过一个非线性激活(可以是sigmoid函数或者softmax等函数)形成最后的输出y。
上面的文字描述,可以形式化表示为下面的公式:
a t = V h t − 1 + U x t + b h t = t a n h ( a t ) o t = W h t + c y t = s i g m o i d ( o t ) a^t = Vh^t-1 + Ux^t + b \\\\ h^t=tanh(a^t) \\\\ o^t=Wh^t + c\\\\ y^t=sigmoid(o^t) at=Vht−1+Uxt+bht=tanh(at)ot=Wht+cyt=sigmoid(ot)
是不是公式能比文字更加说明问题!
再来说左边的结构,坐标的结构表明后面地展开网络中的U,V,W参数都是在共享的,就是说不管我们的序列有多长,都是共享这一套参数的。这是RNN很重要的一个特性。
RNN的隐藏层可以有多层,但是RNN中我们的隐藏层一般不会设置太多,因为在横向上有很长的序列扩展形成的网络,这部分特征是我们更加关注的。最后,需要说明的是RNN可以是单向的,也可以是双向的。
PyTorch中的RNN
下面我们以一个最简单的回归问题使用正弦sin函数预测余弦cos函数,介绍如何使用PyTorch实现RNN模型。
先来看一下PyTorch中RNN类的原型:
- 必选参数
input_size
指定输入序列中单个样本的大小尺寸,比如在NLP中我们可能用用一个10000个长度的向量表示一个单词,则这个input_size
就是10000。在咱们的回归案例中,一个序列中包含若干点,而每个点的所代表的函数值(Y)作为一个样本,则咱们案例中的input_size
为1。这个参数需要根据自己的实际问题确定。 - 必选参数
hidden_size
指的是隐藏层中输出特征的大小,这个是自定义的超参数。 - 必选参数
num_layers
指的是纵向的隐藏层的个数,根据实际问题我们一般可以选择1~10层。 - 可选参数
batch_first
指定是否将batch_size
作为输入输出张量的第一个维度,如果是,则输入的尺寸为(batch_size
,seq_length
,input_size
),否则,默认的顺序是(seq_length
,batch_size
,input_size
)。 - 可选参数
bidirectional
指定是否使用双向RNN。
下面再来说说RNN输入输出尺寸的问题,了解了这个可以让我们我们调试代码的时候更加清晰。下面是PyTorch官方的说明:
对于RNN的输入包括输入序列和一个初始化的隐藏状态
h
0
h_0
h0。输入序列尺寸默认是(sequence_length
,batch_size
, input_size
),所以如果我们的数据形式不是这样的,则需要手动调整为这种类型的格式。
隐藏状态
h
i
h_i
hi的尺寸是(num_layers * num_directions
, batch_size
,hidden_size
)。单向RNN的num_directions
为1,双向RNN的num_directions
为2。
他们的尺寸为什么是这样的呢?这得根据本文开头的那个公式计算,即就是矩阵的相乘需要满足矩阵尺寸的关系,聪明的你想明白了吗?
输出的尺寸为 (sequence_length
, batch_size
, num_directions * hidden_size
)
每一次RNN运行结果输出中还会附带输出中间隐藏状态 h i h_i hi,当然这个尺寸和初始的隐藏状态相同。
下面以一个简单的例子说明怎么在程序中查看他们的尺寸:
import torch
import torch.nn as nn
rnn = nn.RNN(10, 20, 2)
inputs = torch.randn(5, 3, 10) # (time_step, batch_size, input_size)
h0 = torch.randn(2, 3, 20) # (num_layers, batch_size, hidden_size)
output, hn = rnn(inputs, h0)
print(output.shape) # (time_step, batch_size, hidden_size)
for name, param in rnn.named_parameters():
if param.requires_grad:
print(name, param.size())
其输出结果如下:
torch.Size([5, 3, 20])
weight_ih_l0 torch.Size([20, 10])
weight_hh_l0 torch.Size([20, 20])
bias_ih_l0 torch.Size([20])
bias_hh_l0 torch.Size([20])
weight_ih_l1 torch.Size([20, 20])
weight_hh_l1 torch.Size([20, 20])
bias_ih_l1 torch.Size([20])
bias_hh_l1 torch.Size([20])
这里的weight_ih_l0
表示的是RNN隐藏层第一层的权重U,weight_hh_l0
表示的隐藏层第一层的权重V,类似的bias
开头的表示偏置或者叫增益(我不知道中文如何翻译),以l数字
结尾的表示第几层的权重或者偏置。
代码实现与结果分析
好了,搞清楚了RNN的基本原理以及PyTorch中RNN类的输入输出参数要求,我们下面实现我们的回归案例。
比较重要的几个超参数是:TIME_STEP
指定输入序列的长度(一个序列中包含的函数值的个数),INPUT_SIZE
是1,表示一个序列中的每个样本包含一个函数值。
我们自定义的RNN类包含两个模型:一个nn.RNN
层,一个nn.Linear
层,注意forward
函数的实现,观察每个变量的尺寸(注释中给出了答案)。
import torch
from torch import nn
import numpy as np
import matplotlib.pyplot as plt
torch.manual_seed(2019)
# 超参设置
TIME_STEP = 10 # RNN时间步长
INPUT_SIZE = 1 # RNN输入尺寸
INIT_LR = 0.02 # 初始学习率
N_EPOCHS = 100 # 训练回数
class RNN(nn.Module):
def __init__(self):
super(RNN, self).__init__()
self.rnn = nn.RNN(
input_size=INPUT_SIZE,
hidden_size=32, # RNN隐藏神经元个数
num_layers=1, # RNN隐藏层个数
)
self.out = nn.Linear(32, 1)
def forward(self, x, h):
# x (time_step, batch_size, input_size)
# h (n_layers, batch, hidden_size)
# out (time_step, batch_size, hidden_size)
out, h = self.rnn(x, h)
prediction = self.out(out)
return prediction, h
rnn = RNN()
print(rnn)
optimizer = torch.optim.Adam(rnn.parameters(), lr=INIT_LR)
loss_func = nn.MSELoss()
h_state = None # 初始化隐藏层
plt.figure()
plt.ion()
for step in range(N_EPOCHS):
start, end = step * np.pi, (step + 1) * np.pi # 时间跨度
# 使用Sin函数预测Cos函数
steps = np.linspace(start, end, TIME_STEP, dtype=np.float32, endpoint=False)
x_np = np.sin(steps)
y_np = np.cos(steps)
x = torch.from_numpy(x_np[:, np.newaxis, np.newaxis]) # 尺寸大小为(time_step, batch, input_size)
y = torch.from_numpy(y_np[:, np.newaxis, np.newaxis])
prediction, h_state = rnn(x, h_state) # RNN输出(预测结果,隐藏状态)
h_state = h_state.detach() # 这一行很重要,将每一次输出的中间状态传递下去(不带梯度)
loss = loss_func(prediction, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 绘制中间结果
plt.cla()
plt.plot(steps, y_np, 'r-')
plt.plot(steps, prediction.data.numpy().flatten(), 'b-')
plt.draw()
plt.pause(0.1)
plt.ioff()
plt.show()
最后的结果如下:
最后放一个当TIME_STEP
分别等于10和20的最终预测结果的对比图:
第一张是TIME_STEP
=10的预测结果,第二张是TIME_STEP
=20的预测结果。为什么当TIME_STEP
=20的预测结果差得十万八千里呢?
这是因为经典的RNN存在梯度爆炸和梯度弥散问题(我尝试修剪了梯度可是结果还是很差,不知道是不是其它原因),对长时序的预测表现很不好,所以才有了后来的LSTM和GRU等RNN变种。实际现在已经很少使用经典RNN了。有时间在说说LSTM吧,欢迎关注!
word2vec 的 RNN 模型 (GRU) 到回归不学习
...:2019-07-1609:52:05【问题描述】:我正在将Keras代码转换为PyTorch,因为我对后者比前者更熟悉。但是,我发现它没有学习(或几乎没有学习)。下面我提供了我几乎所有的PyTorch代码,包括初始化代码,以便您自己尝试。您唯一需... 查看详情
全网最详细使用pytorch实现循环神经网络(代码片段)
目录1.什么是循环神经网络2.PyTorch中的循环神经网络3.创建循环神经网络模型小结4.训练循环神经网络模型5.评估循环神经网络模型欢迎来到这篇使用PyTorch实现循环神经网络的教程!在这里,我将向您展示如何使用PyTorch创... 查看详情
pytorch案例代码
来自刘二大人课程最简单的线性回归最简单的逻辑斯蒂回归(二分类)improttorch.nn.functionalasF 查看详情
小白学习pytorch教程九基于pytorch训练第一个rnn模型(代码片段)
@Author:Runsen当阅读一篇课文时,我们可以根据前面的单词来理解每个单词的,而不是从零开始理解每个单词。这可以称为记忆。卷积神经网络模型(CNN)不能实现这种记忆,因此引入了递归神经网络模型(RNN)来解决这一问题... 查看详情
pytorch实现简单的分类器(代码片段)
作为目前越来越受欢迎的深度学习框架,pytorch基本上成了新人进入深度学习领域最常用的框架。相比于TensorFlow,pytorch更易学,更快上手,也可以更容易的实现自己想要的demo。今天的文章就从pytorch的基础开始,帮助大家实现成... 查看详情
pytorch基础——使用rnn生成简单序列(代码片段)
一、介绍内容使用RNN进行序列预测今天我们就从一个基本的使用RNN生成简单序列的例子中,来窥探神经网络生成符号序列的秘密。我们首先让神经网络模型学习形如0^n1^n形式的上下文无关语法。然后再让模型尝试去生成这样的字... 查看详情
深度学习为什么选择pytorch?史上最详细pytorch入门教程(代码片段)
目录前言一、Pytorch介绍1.常见的深度学习框架2.Pytorch框架的崛起3.Pytorch与Tensorflow多方位比较二、Tensors1.Tensor的创建2.Tensor的操作3.Tensor与Numpy三、Autograd的讲解1.模型中的前向传播与反向传播2.利用autograd计算梯度四、构建神经网络... 查看详情
[深度学习][pytorch]pytorch实现一个简单得线性回归模型并训练
一个典型的神经网络的训练过程如下:定义具有学习参数(或权重)的神经网络迭代输入数据集根据神经网络对输入数据集进行运算计算损失(输出与真实结果的距离,损失越小说明模型越准确)将梯度反... 查看详情
Pytorch 中的简单数据召回 RNN
】Pytorch中的简单数据召回RNN【英文标题】:SimpleDatarecallRNNinPytorch【发布时间】:2019-08-0901:06:35【问题描述】:我正在学习Pytorch,并正在尝试制作一个可以记住以前输入的网络。我尝试了2种不同的输入/输出结构(见下文),但... 查看详情
Pytorch RNN 模型没有学到任何东西
】PytorchRNN模型没有学到任何东西【英文标题】:PytorchRNNmodelnotlearninganything【发布时间】:2021-03-2802:48:44【问题描述】:任务:预测提供的灾难推文是否真实。已经将我的文本数据转换为张量,然后转换为train_loader。下面提到了... 查看详情
pytorch_循环神经网络rnn
参考技术ARNN是RecurrentNeuralNetworks的缩写,即循环神经网络,它常用于解决序列问题。RNN有记忆功能,除了当前输入,还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。RNN是序列模型的基础,尽管能够直接调... 查看详情
torch.nn.utils.rnn.pad_sequence()详解pytorch入门手册(代码片段)
函数原型torch.nn.utils.rnn.pad_sequence(sequences,batch_first=False,padding_value=0.0)函数功能此函数返回大小为TxBx*或BxTx*的张量,其中T是最长序列的长度。参数详解sequences(list[Tensor]):可变长度序列的列表,shape=[b 查看详情
用rnn&cnn进行情感分析-pytorch(代码片段)
动手学深度学习笔记一、情感分析及数据集1.读取数据集2.预处理数据集二、利用RNN进行情感分析1.使用RNN表示单个文本2.加载预训练的词向量3.训练和评估模型4.预测三、利用CNN进行情感分析1.一维卷积2.textCNN模型3.加载预训练词... 查看详情
Pytorch 线性回归损失增加
】Pytorch线性回归损失增加【英文标题】:Pytorchlinearregressionlossincrease【发布时间】:2021-06-2100:08:05【问题描述】:我尝试实现一个简单的演示,得到多项式回归,但线性模型的损失没有减少。我很困惑我哪里出错了。如果我每次... 查看详情
pytorch深度学习-06逻辑斯蒂回归(快速入门)(代码片段)
...可及”博主主页:@璞玉牧之本文所在专栏:《PyTorch深度学习》博主简介:21级大数据专业大学生,科研方向:深度学习,持续创作中目录1.LogisticTutorial(逻辑斯蒂回归)1.1WhyuseLogistic(为什么用逻辑斯蒂回... 查看详情
机器学习入门实践——线性回归&非线性回归&mnist手写体识别(代码片段)
...,RNN这些。感觉实际上算法本身不是特别的深奥难懂,最简单的BP网络基本上学完微积分和概率论就能搞懂,CNN引入的卷积,池化等也是数字图像处理中比较成熟的理论,RNN使用的数学工具相对而言比较高深一些,需要再深入消... 查看详情
softmax回归的简洁实现(softmax-regression-pytorch)(代码片段)
...上篇(线性回归的简洁实现)中已经了解了使用Pytorch实现模型的便利。下面,让我们再次使用Pytorch来实现一个softmax回归模型。首先导入所需的包或模块。importtorc 查看详情
深度学习入门softmax回归模型
...师推荐了一本书用来入门:《动手学深度学习(PyTorch版)》在此处记录一下学习内容以及学习总结,文章以原作者书 查看详情