pytorch学习3《pytorch深度学习实践》——反向传播（backpropagation）(代码片段)

关键词：

目录

• • 一、Tensor
  • • 1.定义
    • 2.Tensor常见形式
    • 3.torch.tensor和torch.Tensor
    • 4.Tensor.grad
  • 二、反向传播

一、Tensor

1.定义

       张量的定义是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。
       在PyTorch上有这样一句话，A torch.Tensor is a multi-dimensional matrix containing elements of a single data type.而在应用时，Tensor是一个神奇的东西，注意这里的类型是<class ‘torch.Tensor’>

2.Tensor常见形式

3.torch.tensor和torch.Tensor

看完下面这个代码你就知道区别了

从某种意义下，或者你需要这样初始化，才能使torch.tensor和torch.Tensor看起来一样

4.Tensor.grad

       Tensor.grad，它的属性默认是None，当第一次调用backward()为它自己计算梯度的时候才会变成一个Tensor。这个属性将会包含这些计算的梯度，并且未来调用backward()将会把梯度累加进去。这也是为什么我们在更新梯度的时候需要清零的原因。
       我就基本介绍这些啦，需要了解更多的可以查看官网：https://pytorch.org/docs/stable/tensors.html

二、反向传播

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])  # w的初值为1.0
w.requires_grad = True  # 需要计算梯度

def forward(x):
    return x * w  # w是一个Tensor

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

print("predict (before training)", 4, forward(4).item(), '\\n') #Tensor.item()只会返回一个元素的Tensor

for epoch in range(10):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()  # 反向传播
        print('\\tgrad:', x, y, w.grad.item())
        print(w.grad.data, type(w.grad.data))
        print(w, type(w), '\\n')
        w.data = w.data - 0.01 * w.grad.data

        w.grad.data.zero_()  # 更新后，梯度清零

    print('progress:', epoch, l.item(), type(l), '\\n')

print("predict (after training)", 4, forward(4).item())

这个代码实现是很简单的，但是里面的各种类的定义和嵌套，可以好好对应这个输出结果查看一下，加深理解。

pytorch学习2b站刘二大人《pytorch深度学习实践》——梯度下降算法（gradientdescent）(代码片段)

b站课程链接：梯度下降算法一、梯度下降算法1.简介梯度下降算法是一种求解函数最优值的迭代算法，给定一个初值，通过负梯度方向进行更新查找。2.程序实现及结果importmatplotlib.pyplotasplt#训练集x_data=[1.0,2.0,3.0]y_... 查看详情

pytorch学习3《pytorch深度学习实践》——反向传播（backpropagation）(代码片段)

...和其他张量之间的线性关系的多线性函数。       在PyTorch上有这样一句话，Atorch.Tensorisamulti-dimensionalmatrixcontainingelementsofasingledatatype.而在应用时，Tensor是一个神奇的东西，注意这里的类型是<class‘torch.Tensor’>... 查看详情

pytorch学习1b站刘二大人《pytorch深度学习实践》——线性模型（linearmodel）(代码片段)

b站课程链接：线性模型1.基本思想：给出了一组一维数据，定义了一个简单的线性拟合函数，通过穷举法来列出一些权重（拟合函数的系数），并计算这些权重对应的拟合损失函数（使用均方误差&#... 查看详情

pytorch深度学习实践-cnn(代码片段)

ConvolutionalLayerimporttorchin_channels,out_channels=5,10width,height=100,100kernel_size=3batch_size=1input=torch.randn(batch_size,in_channels,width,height)conv_layer=torch.nn.Conv2d(in_channels,out_ 查看详情

pytorch深度学习实践入门01(代码片段)

文章目录基于PyTorch的两层神经网络一、基于numpy的两层神经网络实现：二、基于PyTorch的两层神经网络实现：三、使用nn库实现两层神经网络四、自定义nnModules实现两层神经网络总结基于PyTorch的两层神经网络提示：在... 查看详情

pytorch学习笔记3.深度学习基础(代码片段)

...多分类22.全连接层23.激活函数与GPU加速24.测试根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙 查看详情

深度学习与图神经网络核心技术实践应用高级研修班-day1tensorflow和pytorch(代码片段)

深度学习与图神经网络-Tensorflow和Pytorch1.TensorFlow和Pytorch2.TensorFlow简介3.TensorFlow的API4.Pytorch简介5.Python安装6.TensorFlow安装7.Pytorch安装1.TensorFlow和Pytorch2.TensorFlow简介TensorFlow最初是由GoogleBrain团队（隶属于Goo 查看详情

pytorch深度学习实践_p9_多分类问题_pytorch手写实现数字辨识(代码片段)

pytorch手写实现数字辨识知识点补充view()在PyTorch中view函数作用为重构张量的维度，相当于numpy中的resize()的功能torch.nn.CrossEntropyLoss()求交叉熵，并且其中嵌套了log和softmax函数所以i神经网络最后一层不用再用softmax激活torch.m... 查看详情

[九]深度学习pytorch-transforms图像增强(剪裁翻转旋转)(代码片段)

0.往期内容[一]深度学习Pytorch-张量定义与张量创建[二]深度学习Pytorch-张量的操作：拼接、切分、索引和变换[三]深度学习Pytorch-张量数学运算[四]深度学习Pytorch-线性回归[五]深度学习Pytorch-计算图与动态图机制[六]深度学习Pyto... 查看详情

pytorch学习6《pytorch深度学习实践》——加载数据集（datasetanddataloader）(代码片段)

一、基础概念二、代码及讲解importtorchimportnumpyasnpfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader#preparedatasetclassDiabetesDataset(Dataset):def__init__(self,filepath):xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)#(759,9)最后一列... 查看详情

对比学习:《深度学习之pytorch》《pytorch深度学习实战》+代码

PyTorch是一个基于Python的深度学习平台，该平台简单易用上手快，从计算机视觉、自然语言处理再到强化学习，PyTorch的功能强大，支持PyTorch的工具包有用于自然语言处理的AllenNLP，用于概率图模型的Pyro，扩展了PyTorch的功能。通... 查看详情

pytorch学习2b站刘二大人《pytorch深度学习实践》——梯度下降算法（gradientdescent）(代码片段)

b站课程链接：梯度下降算法一、梯度下降算法1.简介梯度下降算法是一种求解函数最优值的迭代算法，给定一个初值，通过负梯度方向进行更新查找。2.程序实现及结果importmatplotlib.pyplotasplt#训练集x_data=[1.0,2.0,3.0]y_... 查看详情

搭建深度学习环境（pytorch）

...习环境。（2）.按照Anaconda3+CUDA10.0+CuDNN+Pytorch1.2+Pycharm配置。（3）.解决配置Pytorch中无法使用torchvis 查看详情

搭建深度学习环境（pytorch）

...习环境。（2）.按照Anaconda3+CUDA10.0+CuDNN+Pytorch1.2+Pycharm配置。（3）.解决配置Pytorch中无法使用torchvis 查看详情

pytorch反向传播实现——up主：刘二大人《pytorch深度学习实践》(代码片段)

教程：https://www.bilibili.com/video/BV1Y7411d7Ys?p=2&vd_source=715b347a0d6cb8aa3822e5a102f366fe数据集：xdata=[1.0,2.0,3.0]ydata=[2.0,4.0,6.0]x_data=[1.0,2.0,3.0]\\\\y_data=[2.0,4.0,6.0]xdata​=[1.0,2.0,3.0]ydata​=[2.0,4.0,6.0]参数初始值&#... 查看详情

ai常用框架和工具丨12.深度学习框架pytorch

深度学习框架PyTorch，AI常用框架和工具之一。理论知识结合代码实例，希望对您有所帮助。文章目录环境说明PyTorch安装一、PyTorch简介1.1Torch1.2从Torch到PyTorch1.3PyTorch二、PyTorch中张量操作2.1torch2.2张量的常见操作2.3张量的其他操作... 查看详情

深度学习——基础（基于pytorch代码）(代码片段)

...数管理延后初始化自定义层读写文件GPU预备知识数据操作Pytorch中对数据（tensor张量）的操作类似于Numpy（ndarray），但由于深度学习大都是用GPU进行计算，而Numpy仅支持CPU计算，且Pytorch的张量类支持自动... 查看详情

深度学习为什么选择pytorch？史上最详细pytorch入门教程(代码片段)

目录前言一、Pytorch介绍1.常见的深度学习框架2.Pytorch框架的崛起3.Pytorch与Tensorflow多方位比较二、Tensors1.Tensor的创建2.Tensor的操作3.Tensor与Numpy三、Autograd的讲解1.模型中的前向传播与反向传播2.利用autograd计算梯度四、构建神经网络... 查看详情