使用 pytorch-lightning 实现 Network in Network CNN 模型

关键词：

【中文标题】使用 pytorch-lightning 实现 Network in Network CNN 模型【英文标题】：Implement a Network in Network CNN model using pytorch-lightning 【发布时间】：2021-08-27 21:32:06 【问题描述】：

我正在尝试实现 NiN 模型。基本上试图从d2l复制代码这是我的代码。

import pandas as pd
import torch
from torch import nn
import torchmetrics
from torchvision import transforms
from torch.utils.data import DataLoader, random_split
import pytorch_lightning as pl
from torchvision.datasets import FashionMNIST
import wandb
from pytorch_lightning.loggers import WandbLogger
wandb.login()

## class definition
class Lightning_nin(pl.LightningModule):
  def __init__(self):
    super().__init__()
    self.accuracy = torchmetrics.Accuracy(top_k=1)
    self.model = nn.Sequential(
                self.nin_block(1, 96, kernel_size=11, strides=4, padding=0),
                nn.MaxPool2d(3, stride=2),
                self.nin_block(96, 256, kernel_size=5, strides=1, padding=2),
                nn.MaxPool2d(3, stride=2),
                self.nin_block(256, 384, kernel_size=3, strides=1, padding=1),
                nn.MaxPool2d(3, stride=2), nn.Dropout(0.5),
                # There are 10 label classes
                self.nin_block(384, 10, kernel_size=3, strides=1, padding=1),
                nn.AdaptiveAvgPool2d((1, 1)),
                # Transform the four-dimensional output into two-dimensional output with a
                # shape of (batch size, 10)
                nn.Flatten())
    for layer in self.model:
      if type(layer) == nn.Linear or type(layer) == nn.Conv2d:
        nn.init.xavier_uniform_(layer.weight)  
  def nin_block(self,in_channels, out_channels, kernel_size, strides, padding):
      return nn.Sequential(
          nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),
          nn.ReLU(), nn.Conv2d(out_channels, out_channels, kernel_size=1),
          nn.ReLU(), nn.Conv2d(out_channels, out_channels, kernel_size=1),
          nn.ReLU())
      
  def forward(self, x):
      x = self.model(x)
      return x
 
  def loss_fn(self,logits,y):
    loss = nn.CrossEntropyLoss()
    return loss(logits,y)
    
  def training_step(self,train_batch,batch_idx):
    X, y = train_batch
    logits = self.forward(X)
    loss = self.loss_fn(logits,y)
    self.log('train_loss',loss)
    m = nn.Softmax(dim=1)
    output = m(logits)
    self.log('train_acc',self.accuracy(output,y))
    return loss
  
  def validation_step(self,val_batch,batch_idx):
    X,y = val_batch
    logits = self.forward(X)
    loss = self.loss_fn(logits,y)
    self.log('test_loss',loss)
    m = nn.Softmax(dim=1)
    output = m(logits)
    self.log('test_acc',self.accuracy(output,y))
  
  def configure_optimizers(self):
    optimizer = torch.optim.SGD(self.model.parameters(),lr= 0.1)
    return optimizer
  
class Light_DataModule(pl.LightningDataModule):
  def __init__(self,resize= None):
    super().__init__()
    if resize:
      self.resize = resize
 
  def setup(self, stage):
    # transforms for images
    trans = [transforms.ToTensor()]
    if self.resize:
      trans.insert(0, transforms.Resize(self.resize))
    trans = transforms.Compose(trans)
    # prepare transforms standard to MNIST
    self.mnist_train = FashionMNIST(root="../data", train=True, download=True, transform=trans)
    self.mnist_test = FashionMNIST(root="../data", train=False, download=True, transform=trans)
 
  def train_dataloader(self):
    return DataLoader(self.mnist_train, batch_size=128,shuffle=True,num_workers=4)
 
  def val_dataloader(self):
    return DataLoader(self.mnist_test, batch_size=128,num_workers=4)

## Train model
data_module = Light_DataModule(resize=224)
wandb_logger = WandbLogger(project="d2l",name ='NIN')
model  = Lightning_nin()
trainer = pl.Trainer(logger=wandb_logger,max_epochs=4,gpus=1,progress_bar_refresh_rate =1)
trainer.fit(model, data_module)
wandb.finish()

运行代码后，我的准确度仅为 0.1。不知道我哪里出错了。我已经能够使用相同的模板实现其他 CNN（如 VGG）。不知道我哪里出错了。 10个epochs后准确率应该接近0.9。

【问题讨论】：

【参考方案1】：

kernel_size 和 strides 对于 224 的图像尺寸来说非常大。它将大大减少传递给后续层的信息。尝试减少它们。此外，VGG 是一个非常精心设计的架构。

【讨论】：

这不是问题。书中使用原生 pytorch 实现了相同的架构。在验证过程中，我们得到了 0.8 的准确度。然而 pytorch 闪电只给出 0.1 的准确度

使用 pytorch-lightning 进行简单预测的示例

】使用pytorch-lightning进行简单预测的示例【英文标题】：exampleofdoingsimplepredictionwithpytorch-lightning【发布时间】：2020-08-1709:14:55【问题描述】：我有一个现有模型，我在其中加载一些预训练的权重，然后在pytorch中进行预测（一次一... 查看详情

如何在 pytorch-lightning 中使用 TensorBoard 记录器转储混淆矩阵？

】如何在pytorch-lightning中使用TensorBoard记录器转储混淆矩阵？【英文标题】：HowtodumpconfusionmatrixusingTensorBoardloggerinpytorch-lightning?【发布时间】：2021-04-0611:23:16【问题描述】：Theofficialdoc仅状态>>>frompytorch_lightning.metricsimportConf... 查看详情

pytorch-lightning 中的正态分布采样

】pytorch-lightning中的正态分布采样【英文标题】：Normaldistributionsamplinginpytorch-lightning【发布时间】：2020-12-1823:19:50【问题描述】：在Pytorch-Lightning中，您通常不必指定cuda或gpu。但是当我想使用torch.normal创建一个高斯采样张量时，... 查看详情

pytorch-lightning train_dataloader 用完数据

】pytorch-lightningtrain_dataloader用完数据【英文标题】：pythorch-lightningtrain_dataloaderrunsoutofdata【发布时间】：2020-09-1208:39:51【问题描述】：我开始使用pytorch-lightning，但遇到了自定义数据加载器的问题：我使用自己的数据集和通用的to... 查看详情

无法从 Pytorch-Lightning 中的检查点加载模型

】无法从Pytorch-Lightning中的检查点加载模型【英文标题】：UnabletoloadmodelfromcheckpointinPytorch-Lightning【发布时间】：2021-01-1519:06:12【问题描述】：我正在使用PytorchLightning中的U-Net。我能够成功训练模型，但训练后当我尝试从检查点... 查看详情

PyTorch-lightning 模型在第一个 epoch 后内存不足

】PyTorch-lightning模型在第一个epoch后内存不足【英文标题】：PyTorch-lightningmodelsrunningoutofMemoryafter1stepoch【发布时间】：2021-09-2202:18:06【问题描述】：我在PyTorch上看到了一个Kaggle内核，并使用相同的img_size、batch_size等运行它，并创... 查看详情

Pytorch-Lightning 是不是具有多处理（或 Joblib）模块？

】Pytorch-Lightning是不是具有多处理（或Joblib）模块？【英文标题】：DoesPytorch-Lightninghaveamultiprocessing(orJoblib)module?Pytorch-Lightning是否具有多处理（或Joblib）模块？【发布时间】：2020-11-1609:19:09【问题描述】：我一直在谷歌搜索，但... 查看详情

如何禁用 PyTorch-Lightning 记录器的日志记录？

】如何禁用PyTorch-Lightning记录器的日志记录？【英文标题】：HowtodisableloggingfromPyTorch-Lightninglogger?【发布时间】：2021-10-1819:17:57【问题描述】：PyTorch-Lightning中的Logger打印有关要训练（或评估）的模型以及训练过程中的进度的信息... 查看详情

权重和偏差扫描无法使用 pytorch 闪电导入模块

...【发布时间】：2020-12-0408:11:09【问题描述】：我正在使用pytorch-lightning训练变分自动编码器。我的pytorch-lightning代码与权重和偏差记录器一起使用。我正在尝试使用W&B参数扫描进行参数扫描。超参 查看详情

修改为“使用信号量实现 N 进程屏障”

】修改为“使用信号量实现N进程屏障”【英文标题】：Modificationto"ImplementinganNprocessbarrierusingsemaphores"【发布时间】：2017-06-0208:45:14【问题描述】：最近我看到这个问题与Firstreader/writerproblem非常相似。ImplementinganNprocessbarri... 查看详情

使用信号量实现 N 个进程屏障

】使用信号量实现N个进程屏障【英文标题】：ImplementinganNprocessbarrierusingsemaphores【发布时间】：2011-09-1322:47:23【问题描述】：我目前正在为之前迭代的操作系统考试进行培训，我遇到了这个问题：实施“N流程屏障”，即是，确... 查看详情

使用和实现装饰器

使用装饰器格式为：@+装饰器名称；实现一个装饰器首先要理解闭包的思想，如下例子：实现了斐波那契数列deffb(n):ifn<=1:return1returnfb(n-1)+fb(n-2)以上实现方式每次都要计算元素，非常耗时和消耗内存，以下增加了一个缓存的字... 查看详情

递归学习总结及使用递归实现n！（另附上n！数组实现）(代码片段)

 一，递归的概念及其作用程序调用自身的编程技巧称为递归（recursion）。递归做为一种算法在程序设计语言中广泛应用。一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法，它通常把一个大型复杂的问题层... 查看详情

编写一个函数实现n^k，使用递归实现(代码片段)

思路：例如2的3次方。可以分解为2乘2的2次方，而2的2次方又可以分解为2乘2的以此方法，以此类推。1#include<stdio.h>23intFind_num(intn,intk)45if(k==0)67return1;89if(k==1)1011returnn;1213else1415returnn*Find_num(n,k-1);16171819intmain( 查看详情

使用 sequelize N:M 关联实现“平坦”结果的“正确”方法是啥

】使用sequelizeN:M关联实现“平坦”结果的“正确”方法是啥【英文标题】：Whatisthe"correct"waytorealizea"flat"resultusingsequelizeN:Massociations使用sequelizeN:M关联实现“平坦”结果的“正确”方法是什么【发布时间】：2015-10-15... 查看详情

使用 n 维 C++ Vector 类实现算术运算符重载的更好方法？

】使用n维C++Vector类实现算术运算符重载的更好方法？【英文标题】：Betterwaytoimplementarithmeticoperatoroverloadswithan-dimensionalC++Vectorclass?【发布时间】：2011-12-2501:55:33【问题描述】：我在我的代码中使用了自己的数学向量类。我有一个... 查看详情

c_cpp使用radixsort实现后缀数组。复杂性：o（n.log（n））(代码片段)

查看详情

graphx实现n度关系

...思路：1.准备好边数据集。即”13”,“4,1”这种点关系。使用GraphLoader的接口load成Graph2.初始化每一个Vertice的属性为空Map3.使用aggregateMessages把V 查看详情