关键词:
文章目录
基于PyTorch的两层神经网络
提示:在计算神经网络的层数时,只计算具有计算能力的层,而输入层只是将数据进行输入,无计算过程,所以层数:隐藏层层数+1个输出层。所以在此文中两层即一层隐藏层和一层输出层。
本案例中实现的两层神经网络如下图所示:其中输入X为1000维的向量,输出Y为10维的向量。而中间隐藏层的神经元个数为100。
一、基于numpy的两层神经网络实现:
为显示出PyTorch框架在深度学习上的便利,本文首先使用numpy最原始的方法实现一下神经网络。
import numpy as np
# N(输入数据数量); D_in(输入数据维度);
# H(隐藏神经元个数); D_out(输出维度).
N, D_in, H, D_out = 64, 1000, 100, 10
# 创建训练集
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)
# 初始化权重向量
w1 = np.random.randn(D_in, H) # w1为输入数据到隐藏层的计算参数
w2 = np.random.randn(H, D_out) # w2为隐藏层到输出数据的计算参数
learning_rate = 1e-6 #设置模型的学习速率
for t in range(500): #设置梯度下降的次数为500
# Forward pass: compute predicted y
h = x.dot(w1)
h_relu = np.maximum(h, 0) #使用relu激活函数,为解决非线性函数拟合问题
y_pred = h_relu.dot(w2)
# 定义损失函数,计算损失(该处使用方差来计算计算损失)
loss = np.square(y_pred - y).sum()
print(t, loss)
# Backward 计算梯度
# loss = (y_pred - y) ** 2,梯度下降的目的是要使得损失尽可能小
# loss = f(w1,w2) #梯度下降求梯度时,参数为变量,损失为因变量,由此需要根据链式法则来求w1和w2的梯度。
grad_y_pred = 2.0 * (y_pred - y) #根据方差损失函数的梯度公式求取梯度
grad_w2 = h_relu.T.dot(grad_y_pred)
grad_h_relu = grad_y_pred.dot(w2.T)
grad_h = grad_h_relu.copy()
grad_h[h < 0] = 0
grad_w1 = x.T.dot(grad_h)
# 根据梯度和学习速率,更新参数。
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2
二、基于PyTorch的两层神经网络实现:
为显示出PyTorch框架的一些内置功能模块在深度学习上的遍历,以及方便入门理解PyTorch原理,先使用PyTorch最原始的方法实现一下神经网络。
PyTorch的一个重要功能就是autograd,也就是说只要定义了forward pass(前向神经网络),计算了loss之后,PyTorch可以自动求导计算模型所有参数的梯度。
一个PyTorch的Tensor表示计算图中的一个节点。如果x是一个Tensor并且x.requires_grad=True那么x.grad是另一个储存着x当前梯度(相对于一个scalar,常常是loss)的向量。
import torch
dtype = torch.float
device = torch.device("cpu")
# device = torch.device("cuda:0") # Uncomment this to run on GPU
# N 是 batch size; D_in 是 input dimension;
# H 是 hidden dimension; D_out 是 output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10
# 创建随机的Tensor来保存输入和输出
# 设定requires_grad=False表示在反向传播的时候我们不需要计算gradient
x = torch.randn(N, D_in, device=device, dtype=dtype)
y = torch.randn(N, D_out, device=device, dtype=dtype)
# 创建随机的Tensor和权重。
# 设置requires_grad=True表示我们希望反向传播的时候计算Tensor的gradient
w1 = torch.randn(D_in, H, device=device, dtype=dtype, requires_grad=True)
w2 = torch.randn(H, D_out, device=device, dtype=dtype, requires_grad=True)
learning_rate = 1e-6
for t in range(500):
# Forward pass: compute predicted y
h = x.mm(w1) # 在PyTorch中mm函数用来计算两个举证的乘积
h_relu = h.clamp(min=0) # tensor.clamp用来夹值,即不再指定[min,max]范围内的值置零,否则保持不变。
y_pred = h_relu.mm(w2)
# 通过前向传播计算loss
# loss是一个形状为(1,)的Tensor
# loss.item()可以给我们返回一个loss的scalar
loss = (y_pred - y).pow(2).sum()
print(t, loss.item())
"""
梯度优化实现方式一,于上方numpy的优化实现方式相同
# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.t().mm(grad_y_pred)
grad_h_relu = grad_y_pred.mm(w2.t())
grad_h = grad_h_relu.clone()
grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)
# Update weights using gradient descent
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2
"""
"""
方式二:使用PyTorch自带的方向传播方式
"""
# PyTorch给我们提供了autograd的方法做反向传播。如果一个Tensor的requires_grad=True,
# backward会自动计算loss相对于每个Tensor的gradient。在backward之后,
# w1.grad和w2.grad会包含两个loss相对于两个Tensor的gradient信息。
loss.backward()
# 我们可以手动做gradient descent(后面我们会介绍自动的方法)。
# 用torch.no_grad()包含以下statements,因为w1和w2都是requires_grad=True,
# 但是在更新weights之后我们并不需要再做autograd。
# 另一种方法是在weight.data和weight.grad.data上做操作,这样就不会对grad产生影响。
# tensor.data会我们一个tensor,这个tensor和原来的tensor指向相同的内存空间,
# 但是不会记录计算图的历史。
with torch.no_grad():
w1 -= learning_rate * w1.grad
w2 -= learning_rate * w2.grad
# Manually zero the gradients after updating weights
w1.grad.zero_()
w2.grad.zero_()
三、使用nn库实现两层神经网络
使用PyTorch中nn这个库来构建网络。 用PyTorch autograd来构建计算图和计算gradients, 然后PyTorch会帮我们自动计算gradient。使用optim这个包来帮助我们更新参数。 optim这个package提供了各种不同的模型优化方法,包括SGD+momentum, RMSProp, Adam等等。
import torch
import numpy as np
# N(输入数据数量); D_in(输入数据维度);
# H(隐藏神经元个数); D_out(输出维度).
N, D_in, H, D_out = 64, 1000, 100, 10
# 创建训练集
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)
# 定义模型网络结构,使用的是Sequential模型结构
model = torch.nn.Sequential(
torch.nn.Linear(D_in, H),
torch.nn.ReLU(),
torch.nn.Linear(H, D_out),
)
# 定义损失函数
loss_fn = torch.nn.MSELoss(reduction='sum')
#设置学习速率
learning_rate = 1e-4
# 使用optim在更新参数,(可以设置下降方式)此处使用的是Adam优化算法
# 注意使用优化算法时需要将模型的参数和学习速率传入给优化算法
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
for t in range(500): # 定义下降次数为500
# Forward pass: 创建对象时会自动调用对象的forward函数
y_pred = model(x) #返回的就是预测的y值(即跑完nn库定义的网络图得到的结果)
# 计算损失.
loss = loss_fn(y_pred, y)
print(t, loss.item())
# PyTorch默认会对梯度值进行累加,所以进行反向传播计算梯度时,需要使用zero_grad()函数将梯度置零
optimizer.zero_grad()
# Backward pass: 反向传播计算梯度
loss.backward()
# 通过optimizer对象调用step函数更新参数
optimizer.step()
四、自定义nn Modules实现两层神经网络
定义一个模型,这个模型继承自nn.Module类。如果需要定义一个比Sequential模型更加复杂的模型,就需要定义nn.Module模型。
import torch
class TwoLayerNet(torch.nn.Module):
def __init__(self, D_in, H, D_out):
"""
初始化函数中需要
1、调用父类nn.Module的初始化函数
2、定义当前网络结构各层间参数(即整个网络结构计算图)
"""
super(TwoLayerNet, self).__init__()
self.linear1 = torch.nn.Linear(D_in, H)
self.linear2 = torch.nn.Linear(H, D_out)
def forward(self, x):
# 定义当前模型的forward函数
h_relu = self.linear1(x).clamp(min=0)
y_pred = self.linear2(h_relu)
return y_pred
# N(输入数据数量); D_in(输入数据维度);
# H(隐藏神经元个数); D_out(输出维度).
N, D_in, H, D_out = 64, 1000, 100, 10
# 创建训练集
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)
# 实例化模型结构类,定义模型
model = TwoLayerNet(D_in, H, D_out)
# 使用交叉熵来衡量损失
criterion = torch.nn.MSELoss(reduction='sum')
# 使用SGD优化算法
optimizer = torch.optim.SGD(model.parameters(), lr=1e-4)
for t in range(500):
# Forward pass: Compute predicted y by passing x to the model
y_pred = model(x)
# Compute and print loss
loss = criterion(y_pred, y)
print(t, loss.item())
# Zero gradients, perform a backward pass, and update the weights.
optimizer.zero_grad()
loss.backward()
optimizer.step()
总结
PyTorch框架在深度学习构建模型以及计算上非常便利。可以使用一些已经定义好的功能模块来提高编程效率。
- PyTorch的一个重要功能就是autograd,tensor.backward()可以自动进行反向传播计算梯度值(需要计算梯度值的tensor在定义时需要指定requires_grad=True),得到的梯度值则保存在tensor.grad属性中。
- 可以使用PyTorch中nn这个库来构建网络
- 使用optim这个包来帮助我们更新参数,而且可以使用不同的优化算法。
- 可以自定义nn.Module类实现自己需要的模型
- PyTorch默认会对梯度进行累加,所以在调用backward函数时,需要先使用model.zero_grad()来将梯度置零。
(翻译)60分钟入门深度学习工具-pytorch(代码片段)
60分钟入门深度学习工具-PyTorch作者:SoumithChintala原文翻译自:一、Pytorch是什么?二、AUTOGRAD三、神经网络四、训练一个分类器五、数据并行他是一个基于Python的科学计算包,目标用户有两类为了使用GPU来替代numpy一个深度学习研... 查看详情
学习笔记:深度学习——基于pytorch的bert应用实践(代码片段)
学习时间:2022.04.26~2022.04.30文章目录7.基于PyTorch的BERT应用实践7.1工具选取7.2文本预处理7.3使用BERT模型7.3.1数据输入及应用预处理7.3.2提取词向量7.3.3网络建模7.3.4参数准备7.3.5模型训练7.基于PyTorch的BERT应用实践本节着重于将BER... 查看详情
pytorch深度学习实践-cnn(代码片段)
ConvolutionalLayerimporttorchin_channels,out_channels=5,10width,height=100,100kernel_size=3batch_size=1input=torch.randn(batch_size,in_channels,width,height)conv_layer=torch.nn.Conv2d(in_channels,out_ 查看详情
深度学习---从入门到放弃pytorch基础(代码片段)
深度学习—从入门到放弃(一)pytorchTensor类似于numpy的array,pandas的dataframe;在pytorch里的数据结构是tensor,即张量tensor简单操作1.Flattenandreshape###Originalz:tensor([[0,1],[2,3],[4,5],[6,7],[8,9],[10,11]])Flatte 查看详情
pytorch学习笔记3.深度学习基础(代码片段)
...多分类22.全连接层23.激活函数与GPU加速24.测试根据龙良曲Pytorch学习视频整理,视频链接:【计算机-AI】PyTorch学这个就够了!(好课推荐)深度学习与PyTorch入门实战——主讲人龙 查看详情
pytorch入门与实战----pytorch入门(代码片段)
1.深度学习框架 pytorch与其他框架的比较pytorch的学习方法:课程安排:PyTorch是一个基于Python的科学计算库,它有以下特点:类似于NumPy,但是它可以使用GPU可以用它定义深度学习模型,可以灵活地进行深度学习模型的训练和使... 查看详情
pytorch-入门与安装(代码片段)
tensorflowvspytorch 现在关于深度学习的框架很多,详情请百度,或者参考本文参考资料1,本文对比两种; tensorflow是当前最流行的深度学习框架,但是pytorch有后来居上的意思,其实二者有一定联系;联系:都是基于计算图... 查看详情
自然语言处理pytorch基础入门(必备基础知识)(代码片段)
PyTorch基础实践PyTorch基础安装PyTorch创建张量张量类型和大小张量操作索引,切片和连接张量和计算图CUDA张量练习Solutions总结PyTorch基础在本书中,我们广泛地使用PyTorch来实现我们的深度学习模型。PyTorch是一个开源、社区... 查看详情
如何高效入门pytorch?深度学习框架是pytorch还是tensorflow?(代码片段)
PyTorch入门,着实入了不少坑。咱们来谈谈,如何选个合适的教程,避开它们。一、Tensorflow VS PyTorch 在这之前,有一个问题肯定困惑大家很久了,2021年了,TensorFlow和PyTorch两个深度学习框架学哪个... 查看详情
神经网络与深度学习pytorch入门——张量(代码片段)
...通过参考飞桨AIStudio-人工智能学习与实训社区 教程进行pytorch相关学习。目录一.概念:张量、算子二.使用pytorch实现张量运算1.2.1创建张量1.2.1.1指定数据创建张量1.2.1.2指定形状创建1.2.1.3指定区间创建1.2.2张量的属性1.2.2.1张... 查看详情
pytorch学习2b站刘二大人《pytorch深度学习实践》——梯度下降算法(gradientdescent)(代码片段)
b站课程链接:梯度下降算法一、梯度下降算法1.简介梯度下降算法是一种求解函数最优值的迭代算法,给定一个初值,通过负梯度方向进行更新查找。2.程序实现及结果importmatplotlib.pyplotasplt#训练集x_data=[1.0,2.0,3.0]y_... 查看详情
pytorch学习1b站刘二大人《pytorch深度学习实践》——线性模型(linearmodel)(代码片段)
b站课程链接:线性模型1.基本思想:给出了一组一维数据,定义了一个简单的线性拟合函数,通过穷举法来列出一些权重(拟合函数的系数),并计算这些权重对应的拟合损失函数(使用均方误差... 查看详情
深度学习为什么选择pytorch?史上最详细pytorch入门教程(代码片段)
目录前言一、Pytorch介绍1.常见的深度学习框架2.Pytorch框架的崛起3.Pytorch与Tensorflow多方位比较二、Tensors1.Tensor的创建2.Tensor的操作3.Tensor与Numpy三、Autograd的讲解1.模型中的前向传播与反向传播2.利用autograd计算梯度四、构建神经网络... 查看详情
机器学习入门
...拓,深度学习和自然语言处理中(文本分析)都需要用到Pytorch,Pytorch&DeepLearning 查看详情
pytorch深度学习实践_p9_多分类问题_pytorch手写实现数字辨识(代码片段)
pytorch手写实现数字辨识知识点补充view()在PyTorch中view函数作用为重构张量的维度,相当于numpy中的resize()的功能torch.nn.CrossEntropyLoss()求交叉熵,并且其中嵌套了log和softmax函数所以i神经网络最后一层不用再用softmax激活torch.m... 查看详情
《动手学深度学习》(pytorch版)(代码片段)
《动手学深度学习》PyTorch版前言简介面向人群食用方法方法一方法二方法三目录原书地址引用阅读指南前言读书啦!!!本项目将《动手学深度学习》原书中MXNet代码实现改为PyTorch实现。原书作者:阿斯顿·张、... 查看详情
pytorch学习6《pytorch深度学习实践》——加载数据集(datasetanddataloader)(代码片段)
一、基础概念二、代码及讲解importtorchimportnumpyasnpfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader#preparedatasetclassDiabetesDataset(Dataset):def__init__(self,filepath):xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)#(759,9)最后一列... 查看详情
pytorch入门01
1.为什么学习pytorch日益增长的发展速度和深度学习的需要 在谷歌搜索频次和期刊论文引用频次上pytorch也是一直增长,TF比较稳或者说有点下降,尤其在学术界pytorch已经成为主流。2.学哪类知识pytorch:深度学习框架01.数据模... 查看详情