关键词:
pytorch手写实现数字辨识
知识点补充
- view()
- 在PyTorch中view函数作用为重构张量的维度,相当于numpy中的resize()的功能
- torch.nn.CrossEntropyLoss()
- 求交叉熵,并且其中嵌套了log 和softmax 函数 所以i神经网络最后一层不用再用softmax激活
- torch.max(input, dim)
输入
- input是softmax函数输出的一个tensor
- dim是max函数索引的维度0/1,0是每列的最大值,1是每行的最大值
输出
- 函数会返回两个tensor,第一个tensor是每行的最大值;第二个tensor是每行最大值的索引。
1、准备数据集
transform = transforms.Compose([ #撰写转换器
transforms.ToTensor(), #数据转为向量
transforms.Normalize((0.1307,), (0.3801, )) #将像素值规格化在(0, 1)之间,前者为均值,后者为方差,这两个值是在图像处理上经过大量数据得到的普遍值
])
train_dataset = datasets.MNIST(
root = '../dataset/minist',
train = True,
download = True,
transform = transform
)
train_loader = DataLoader(train_dataset,
shuffle=True, #训练数据打乱保证随机性
batch_size=64)
test_dataset = datasets.MNIST(
root = '../dataset/minist',
train = False,
download = True,
transform = transform
)
test_loader = DataLoader(train_dataset,
shuffle=False, #测试集不打算保证结果直观性
batch_size=64)
2、构建神经网络
class Net(torch.nn.Module):
def __init__(self):
super(Net,self).__init__()
self.l1 = torch.nn.Linear(784, 512)
self.l2 = torch.nn.Linear(512, 256)
self.l3 = torch.nn.Linear(256, 128)
self.l4 = torch.nn.Linear(128, 64)
self.l5 = torch.nn.Linear(64, 10)
def forward(self, x):
x = x.view(-1, 784) #将x转为N*784的向量
x = F.relu(self.l1(x))
x = F.relu(self.l2(x))
x = F.relu(self.l3(x))
x = F.relu(self.l4(x))
return self.l5(x) #最后一层不做softmax,因为等会调用的交叉熵函数包含了softmax的过程
model = Net()
3、定义loss和optimizer
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) #momentum:相当于赋予梯度惯性帮助跳出local minimal
4、训练
def train(epoch):
runing_loss = 0.0
for batch_idx, data in enumerate(train_loader,0):
inputs, target = data
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, target)
loss.backward()
optimizer.step()
runing_loss += loss.item()
if batch_idx % 300 == 299:
print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx +1, runing_loss / 300))
runing_loss = 0.0
5、测试
def test():
correct = 0
total = 0
with torch.no_grad():
for data in test_loader:
images, labels = data
outputs = model(images)
_, predicted = torch.max(outputs.data, dim=1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('Accuracy on test set: %d %%' % (100 * correct / total))
完整代码
import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim
# 1、准备数据集
transform = transforms.Compose([ #撰写转换器
transforms.ToTensor(), #数据转为向量
transforms.Normalize((0.1307,), (0.3801, )) #将像素值规格化在(0, 1)之间,前者为均值,后者为方差,这两个值是在图像处理上经过大量数据得到的普遍值
])
train_dataset = datasets.MNIST(
root = '../dataset/minist',
train = True,
download = True,
transform = transform
)
train_loader = DataLoader(train_dataset,
shuffle=True, #训练数据打乱保证随机性
batch_size=64)
test_dataset = datasets.MNIST(
root = '../dataset/minist',
train = False,
download = True,
transform = transform
)
test_loader = DataLoader(train_dataset,
shuffle=False, #测试集不打算保证结果直观性
batch_size=64)
# 2、构建神经网络
class Net(torch.nn.Module):
def __init__(self):
super(Net,self).__init__()
self.l1 = torch.nn.Linear(784, 512)
self.l2 = torch.nn.Linear(512, 256)
self.l3 = torch.nn.Linear(256, 128)
self.l4 = torch.nn.Linear(128, 64)
self.l5 = torch.nn.Linear(64, 10)
def forward(self, x):
x = x.view(-1, 784) #将x转为N*784的向量
x = F.relu(self.l1(x))
x = F.relu(self.l2(x))
x = F.relu(self.l3(x))
x = F.relu(self.l4(x))
return self.l5(x) #最后一层不做softmax,因为等会调用的交叉熵函数包含了softmax的过程
model = Net()
# 3、定义loss和optimizer
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) #momentum:相当于赋予梯度惯性帮助跳出local minimal
# 4、训练
def train(epoch):
runing_loss = 0.0
for batch_idx, data in enumerate(train_loader,0):
inputs, target = data
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, target)
loss.backward()
optimizer.step()
runing_loss += loss.item()
if batch_idx % 300 == 299:
print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx +1, runing_loss / 300))
runing_loss = 0.0
# 5、测试
def test():
correct = 0
total = 0
with torch.no_grad():
for data in test_loader:
images, labels = data
outputs = model(images)
_, predicted = torch.max(outputs.data, dim=1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('Accuracy on test set: %d %%' % (100 * correct / total))
if __name__ == '__main__':
for epoch in range(10):
train(epoch)
test()
pytorch学习--编程实战:猫和狗二分类
Pytorch学习系列(一)至(四)均摘自《深度学习框架PyTorch入门与实践》陈云目录:1.程序的主要功能2.文件组织架构3.关于`__init__.py`4.数据处理5.模型定义6.工具函数7.配置文件8.main.py9.使用1.程序的主要功能: 模型定... 查看详情
PyTorch 分类器输出啥?
】PyTorch分类器输出啥?【英文标题】:WhatdoesPyTorchclassifieroutput?PyTorch分类器输出什么?【发布时间】:2021-01-1601:56:40【问题描述】:所以我是深度学习的新手,开始学习PyTorch。我创建了一个具有以下结构的分类器模型。classmodel... 查看详情
pytorch学习6《pytorch深度学习实践》——加载数据集(datasetanddataloader)(代码片段)
一、基础概念二、代码及讲解importtorchimportnumpyasnpfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader#preparedatasetclassDiabetesDataset(Dataset):def__init__(self,filepath):xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)#(759,9)最后一列... 查看详情
8.1pytorch模型迁移(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.5pytorch批量梯度下降(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.7pytorch如何使用gpu(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
3pytorch读入各类形式的数据(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.3pytorch便利的优化器(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
6.2pytorch图像的多分类--手写字体识别(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.8pytorch模型的保存与加载(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
matlab深度学习做声音分类
1、内容简介略595-可以交流、咨询、答疑深度学习做声音分类2、内容说明提取声音特征,然后通过CNN进行分类3、仿真分析[normal_01_L,~]=audioread(正常样本2s_01_L.wav);[normal_02_L,~]=audioread(正常样本2s_02_L.wav);[qikong_01_L,fs]=audioread(气孔样... 查看详情
matlab深度学习做声音分类
1、内容简介略595-可以交流、咨询、答疑深度学习做声音分类2、内容说明提取声音特征,然后通过CNN进行分类3、仿真分析[normal_01_L,~]=audioread('正常样本2s_01_L.wav');[normal_02_L,~]=audioread('正常样本2s_02_L.wav');[qiko... 查看详情
7.1利用pytorch构造神经翻译机(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.4pytorch迭代过程中的评估(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
4.1pytorch纯手工构建模型并训练(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
分类|深度学习(李宏毅)
一、生成模型假设有两个类别(C_1、C_2),(P(C_1|x)=fracP(x|C_1)P(C_1)P(x|C_1)P(C_1)+P(x|C_2)P(C_2))其中(P(C_1)、P(C_2))为先验分布,(P(x|C_1)、P(x|C_2))都是高斯分布,服从以下分布:[f_mu,Sigma(x)=fra 查看详情
2.3tensor类型(代码片段)
欢迎订阅本专栏:《PyTorch深度学习实践》订阅地址:https://blog.csdn.net/sinat_33761963/category_9720080.html第二章:认识Tensor的类型、创建、存储、api等,打好Tensor的基础,是进行PyTorch深度学习实践的重中之重的基础... 查看详情
pytorch深度学习实践-cnn(代码片段)
ConvolutionalLayerimporttorchin_channels,out_channels=5,10width,height=100,100kernel_size=3batch_size=1input=torch.randn(batch_size,in_channels,width,height)conv_layer=torch.nn.Conv2d(in_channels,out_ 查看详情