正文

pytorch学习6《pytorch深度学习实践》——加载数据集（datasetanddataloader）(代码片段)

☆下山☆  ☆下山☆  2023-03-06  473

关键词：

一、基础概念

二、代码及讲解

import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

# prepare dataset
class DiabetesDataset(Dataset):
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32) # (759, 9) 最后一列是标签，二分类0,1
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[:, :-1]) # 获取样本特征
        self.y_data = torch.from_numpy(xy[:, [-1]]) # 获取样本标签

    def __getitem__(self, index): # 获取样本索引
        return self.x_data[index], self.y_data[index]

    def __len__(self): # 获取样本总量：759
        return self.len

dataset = DiabetesDataset('diabetes.csv')
train_loader = DataLoader(dataset=dataset, batch_size=64, shuffle=False, num_workers=4)  # num_workers：多进程数据加载

# design model using class
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()

# construct loss and optimizer
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# training cycle forward, backward, update
if __name__ == '__main__':
    for epoch in range(1):
        for i, data in enumerate(train_loader, 0): # 迭代对象
            inputs, labels = data
            print(len(data[0]))
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)
            print(epoch, i, loss.item())

            optimizer.zero_grad()
            loss.backward()

            optimizer.step()

       代码中shuffle=False是不打乱样本的意思，然后我也特意设置epoch=1并且看看究竟是如何迭代的。具体如下：
       在每个epoch下，我们每次都选batch_size=64个样本进行训练并且参数更新，直到我们将所有的样本使用完，最后一个batch_size不够64个样本也要进行训练。
       可以看出，我们一共有759个样本，batch_size=64，一共进行了12次参数更新，前11次都使用64个样本，最后一次使用55个样本。

《pytorch深度学习实践》介绍

...bsp; 本文为bilibili刘二大人所讲的《PyTorch深度学习实践》学习笔记介绍。笔记融入了自己对课程和代码的理解，希望对大家有所帮助，由于本人知识尚浅，如果笔记中有任何... 查看详情

学习笔记：深度学习——基于pytorch的bert应用实践(代码片段)

学习时间：2022.04.26~2022.04.30文章目录7.基于PyTorch的BERT应用实践7.1工具选取7.2文本预处理7.3使用BERT模型7.3.1数据输入及应用预处理7.3.2提取词向量7.3.3网络建模7.3.4参数准备7.3.5模型训练7.基于PyTorch的BERT应用实践本节着重于将BER... 查看详情

pytorch学习1b站刘二大人《pytorch深度学习实践》——线性模型（linearmodel）(代码片段)

b站课程链接：线性模型1.基本思想：给出了一组一维数据，定义了一个简单的线性拟合函数，通过穷举法来列出一些权重（拟合函数的系数），并计算这些权重对应的拟合损失函数（使用均方误差&#... 查看详情

pytorch深度学习实践-cnn(代码片段)

ConvolutionalLayerimporttorchin_channels,out_channels=5,10width,height=100,100kernel_size=3batch_size=1input=torch.randn(batch_size,in_channels,width,height)conv_layer=torch.nn.Conv2d(in_channels,out_ 查看详情

pytorch深度学习实践入门01(代码片段)

文章目录基于PyTorch的两层神经网络一、基于numpy的两层神经网络实现：二、基于PyTorch的两层神经网络实现：三、使用nn库实现两层神经网络四、自定义nnModules实现两层神经网络总结基于PyTorch的两层神经网络提示：在... 查看详情

深度学习与图神经网络核心技术实践应用高级研修班-day1tensorflow和pytorch(代码片段)

深度学习与图神经网络-Tensorflow和Pytorch1.TensorFlow和Pytorch2.TensorFlow简介3.TensorFlow的API4.Pytorch简介5.Python安装6.TensorFlow安装7.Pytorch安装1.TensorFlow和Pytorch2.TensorFlow简介TensorFlow最初是由GoogleBrain团队（隶属于Goo 查看详情

pytorch深度学习实践_p9_多分类问题_pytorch手写实现数字辨识(代码片段)

pytorch手写实现数字辨识知识点补充view()在PyTorch中view函数作用为重构张量的维度，相当于numpy中的resize()的功能torch.nn.CrossEntropyLoss()求交叉熵，并且其中嵌套了log和softmax函数所以i神经网络最后一层不用再用softmax激活torch.m... 查看详情

pytorch反向传播实现——up主：刘二大人《pytorch深度学习实践》(代码片段)

教程：https://www.bilibili.com/video/BV1Y7411d7Ys?p=2&vd_source=715b347a0d6cb8aa3822e5a102f366fe数据集：xdata=[1.0,2.0,3.0]ydata=[2.0,4.0,6.0]x_data=[1.0,2.0,3.0]\\\\y_data=[2.0,4.0,6.0]xdata=[1.0,2.0,3.0]ydata=[2.0,4.0,6.0]参数初始值&#... 查看详情

pytorch学习2b站刘二大人《pytorch深度学习实践》——梯度下降算法（gradientdescent）(代码片段)

b站课程链接：梯度下降算法一、梯度下降算法1.简介梯度下降算法是一种求解函数最优值的迭代算法，给定一个初值，通过负梯度方向进行更新查找。2.程序实现及结果importmatplotlib.pyplotasplt#训练集x_data=[1.0,2.0,3.0]y_... 查看详情

对比学习:《深度学习之pytorch》《pytorch深度学习实战》+代码

PyTorch是一个基于Python的深度学习平台，该平台简单易用上手快，从计算机视觉、自然语言处理再到强化学习，PyTorch的功能强大，支持PyTorch的工具包有用于自然语言处理的AllenNLP，用于概率图模型的Pyro，扩展了PyTorch的功能。通... 查看详情

6.2pytorch图像的多分类--手写字体识别(代码片段)

欢迎订阅本专栏：《PyTorch深度学习实践》订阅地址：https://blog.csdn.net/sinat_33761963/category_9720080.html第二章：认识Tensor的类型、创建、存储、api等，打好Tensor的基础，是进行PyTorch深度学习实践的重中之重的基础... 查看详情

pytorch学习3《pytorch深度学习实践》——反向传播（backpropagation）(代码片段)

...和其他张量之间的线性关系的多线性函数。在PyTorch上有这样一句话，Atorch.Tensorisamulti-dimensionalmatrixcontainingelementsofasingledatatype.而在应用时，Tensor是一个神奇的东西，注意这里的类型是<class‘torch.Tensor’>... 查看详情

anaconda配置各版本pytorch深度学习环境(代码片段)

目录1.前言2.配置镜像源3.pytorch，torchvision，python版本对应4.创建并进入虚拟环境5.Pytorch0.4.16.Pytorch1.0.07.Pytorch1.0.18.Pytorch1.1.09.Pytorch1.2.010.Pytorch1.4.011.Pytorch1.5.012.Pytorch1.5.113.Pytorch1.6.0 查看详情

6.3pytorch实现autoencoder模型(代码片段)

深度学习——基础（基于pytorch代码）(代码片段)

...数管理延后初始化自定义层读写文件GPU预备知识数据操作Pytorch中对数据（tensor张量）的操作类似于Numpy（ndarray），但由于深度学习大都是用GPU进行计算，而Numpy仅支持CPU计算，且Pytorch的张量类支持自动... 查看详情

6.4pytorch实现skipgram模型(代码片段)

6.1pytorch简单二分类模型(代码片段)

使用pytorch实现深度学习的主要流程(代码片段)

一、使用Pytorch实现深度学习的主要流程使用Pytorch进行深度学习的实现流程主要包含如下几个部分：1、预处理、后处理并确认网络的输入和输出2、创建Dataset3、创建DataLoader4、创建网络模型5、定义正向传播函数（forward... 查看详情