深度学习环境配置9——ubuntu下的tensorflow-gpu==2.4.0环境配置(代码片段)

Bubbliiiing Bubbliiiing     2022-12-01     463

关键词:

深度学习环境配置9——Ubuntu下的tensorflow-gpu==2.4.0环境配置

注意事项

一、2022/09/04更新

许多粉丝反馈,报TypeError: array() takes 1 positional argument but 2 were given错误,可以修改pillow版本解决。

pip install pillow==8.2.0

如果出现下述错误:

SubProcess ended with return code: 4294967295

复制ptxas到/usr/local/cuda-11.0/ptxas。下载链接为:
链接:https://pan.baidu.com/s/1dCt3kXAtrObPJhAwxQjDLA
提取码:vyec

学习前言

一直没有制作与Ubuntu相关的环境配置,决定把这个坑给填补上。

各个版本tensorflow2的配置教程

各个版本tensorflow2的配置教程如下:
深度学习环境配置9——Ubuntu下的tensorflow-gpu==2.4.0环境配置
深度学习环境配置7——(30系显卡)windows下的tensorflow-gpu==2.4.0环境配置
深度学习环境配置6——windows下的tensorflow-cpu=2.2.0环境配置
深度学习环境配置3——windows下的tensorflow-gpu=2.2.0环境配置

环境内容

tensorflow-gpu:2.4.0
无需装keras,tensorflow因为自带了。

环境配置

一、Anaconda安装

Anaconda的安装主要是为了方便环境管理,可以同时在一个电脑上安装多种环境,不同环境放置不同框架:pytorch、tensorflow、keras可以在不同的环境下安装,只需要使用conda create –n创建新环境即可。

1、Anaconda的下载

如果具有可视化界面的系统,可以直接进入首先登录Anaconda的官网:https://www.anaconda.com/distribution/。直接下载对应安装包就可以。


一般是下载64位的,下载完成后打开。

除此之外,也可以通过wget指令直接在终端中进行下载。具体如图所示。

下载完成后,目录下会出现对应的sh文件。即anaconda的安装文件。

2、Anaconda的安装

首先通过指令将sh文件设置成可执行的。

sudo chmod -R 777 Anaconda3-2022.05-Linux-x86_64.sh


然后利用下列指令执行sh文件。

./Anaconda3-2022.05-Linux-x86_64.sh

执行后就是一堆需要遵守的协议,一般这个时候啊对对对就可以了。


中间有一大串的协议,按空格会跳过的快一些。然后输入yes,否则不会正常安装。


然后选择安装路径,这个同学们根据自己的需求进行安装就可以了,默认会安装在~文件夹下。输入地址,然后点击Enter,Anaconda会开始自动安装。


这一步建议选择yes,conda环境会自动初始化,可以去掉一些繁琐的步骤。


再次打开就有base的环境了。


Anaconda的安装就结束了。

二、Cudnn和CUDA的下载和安装

我这里使用的是tensorflow-gpu=2.4.0,官方推荐的Cuda版本是11.0,因此会用到cuda11.0,与cuda11.0对应的cudnn是8.0.5.39。

1、Cudnn和CUDA的下载

网盘下载:
链接:https://pan.baidu.com/s/16abczdUfi5VhLIb-i550ZA
提取码:ylrh

官网下载:
cuda11.0官网的地址是:
cuda11.0官网地址
然后可以通过指令进行下载。

wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run

cudnn官网的地址是:
需要大家进去后寻找8.0.5.39。
cudnn官网地址

下载完之后得到这两个文件。

2、Cudnn和CUDA的安装

a、CUDA的安装

之后我们在该文件夹打开终端,利用下述指令开始安装CUDA。

sudo sh cuda_11.0.2_450.51.05_linux.run

因为现在的Ubuntu系统基本上会自动安装显卡驱动了,所以运行后一般会提示显卡驱动已经安装,此时忽略,直接选择Continue进入下一步。然后接受下一步的协议。


因为已经安装显卡驱动了,所以这一步不再选择Driver,之后选择install进行Cuda的安装即可。


安装完成后,还需要将CUDA信息添加到~/.bashrc中,因此我们这样做。使用gedit或者vim打开.bashrc文件。

gedit ~/.bashrc

然后在文件末尾添加上下述代码,此时环境变量已经添加。

export PATH=$PATH:/usr/local/cuda/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64  
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda/lib64

此时CUDA已经安装完毕了,需要进一步安装Cudnn。

b、Cudnn的安装

依然打开终端,使用下述指令解压Cudnn文件。如果是zip文件就使用unzip,如果是tgz文件就使用tar。

unzip cudnn-11.0-linux-x64-v8.0.5.39.zip
tar -xvf cudnn-11.0-linux-x64-v8.0.5.39.tgz

解压完成后需要将cudnn文件夹下的文件复制到到/usr/local/cuda-11.0/lib64/和/usr/local/cuda-11.0/include/中。

进入cudnn文件夹,使用cp命令进行复制。

cp cuda/lib64/* /usr/local/cuda-11.0/lib64/
cp cuda/include/* /usr/local/cuda-11.0/include/


此时cudnn也安装完毕。

三、配置tensorflow2-gpu环境

1、tensorflow2-gpu环境的创建与激活

ctrl+alt+T,在命令提示符内输入以下命令:

conda create –n tensorflow2-gpu python=3.8
conda activate tensorflow2-gpu

这里一共存在两条指令:
前面一条指令用于创建一个名为tensorflow2-gpu的环境,该环境的python版本为3.8。
后面一条指令用于激活一个名为tensorflow2-gpu的环境。

2、tensorflow2-gpu库的安装

由于我们所有的操作都要在对应环境中进行,所以在进行库的安装前需要先激活环境。

conda activate tensorflow2-gpu

此时终端的样子为:

然后我们输入下述指令:

pip install tensorflow-gpu==2.4.0

安装tensorflow-gpu。

3、其它依赖库的安装

但如果想要跑深度学习模型,还有一些其它的依赖库需要安装。具体如下:

scipy==1.4.1
numpy==1.19.2
matplotlib==3.2.1
opencv_python==4.2.0.34
tensorflow_gpu==2.4.0
tqdm==4.46.1
Pillow==8.2.0
h5py==2.10.0
scikit-learn
Cython

如果想要更便捷的安装可以在终端创建一个requirements.txt文件,复制上述内容到txt文件中。

使用如下指令安装即可。下述指令中,requirements.txt前方的路径是我将文件放的路径,各位同学根据自己的电脑修改。

pip install -r ~/requirements.txt

4、安装较慢请注意换源

需要注意的是,如果在pip中下载安装比较慢可以换个源,可以到用户文件夹下,创建一个pip文件夹,然后在pip文件夹里创建一个txt文件。
创建指令如下,提示没有权限则在前面加个sudo:

mkdir ~/pip
gedit ~/pip/pip.conf

修改文件的内容。

[global]
index-url = https://mirrors.aliyun.com/pypi/simple
[install]
trusted-host=mirrors.aliyun.com


全部安装完成之后重启电脑。

四、安装VSCODE

我个人喜欢VSCODE,所以就安装它啦。其它的编辑软件也可以,个人喜好罢了。

1、VSCODE的下载

直接加载VSCODE的官网https://code.visualstudio.com/,点击deb即可下载。

2、VSCODE的安装

下载完成后,打开终端,使用如下指令进行安装。安装完成即可运行。

sudo dpkg -i code_1.69.2-1658162013_amd64.deb

3、运行环境的指定

首先点击插件模块,安装python。

安装完成后重启vscode,此时vscode的左下角或者右下角可以用于选择环境。


点击后选择环境,没有对应解释器的可以点一下右上角的刷新。。

深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置(代码片段)

深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置注意事项一、2021/10/8更新学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、配置pytorch环境1、pytorch环境的创建与激活2、pytorch库的安装3、其它... 查看详情

深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置(代码片段)

文章目录前言一、Ubuntu离线安装docker二、dockerhub下载合适镜像三、配置docker容器1.运行容器2.给容器安装openssh-server和openssh-client3.vim打开并修改配置文件4.创建docker中root用户的密码:5.重启ssh服务6.确认docker容器内python位置7.测... 查看详情

动手深度学习3月21日

线性代数如果想看jupyternote效果的请点击​​github地址​​importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y(tensor([5.]),tensor([6.]),tensor([1.5000]),tensor([9.]))x=torch.arange(4)tensor([0,1,2,3])x[3 查看详情

深度学习|计算机视觉环境配置-数据集制作-模型训练一站式教程(ubuntu系统)//

深度学习|计算机视觉环境配置-数据集制作-模型训练一站式教程(Ubuntu系统)文章目录深度学习|计算机视觉环境配置-数据集制作-模型训练一站式教程(Ubuntu系统)一.总体流程二.分步细节2.1环境配置2.1.1Pycharm持续更新一.总体流程基... 查看详情

(转)深度学习主机环境配置:ubuntu16.04+nvidiagtx1080+cuda8.0

  深度学习主机环境配置:Ubuntu16.04+NvidiaGTX1080+CUDA8.0发表于2016年07月15号由52nlp接上文《深度学习主机攒机小记》,这台GTX1080主机准备好之后,就是配置深度学习环境了,这里选择了比较熟悉Ubuntu系统,不过是最新的16.04版... 查看详情

ubuntu+docker+pycharm环境深度学习远程炼丹使用教程(代码片段)

文章目录前言一、docker环境准备1.下载镜像2.运行容器3.给容器安装openssh-server和openssh-client4.vim打开并修改配置文件5.创建docker中root用户的密码:6.重启ssh服务7.确认docker容器内python位置8.生成新的镜像9.导出镜像10.导入镜像二... 查看详情

深度学习环境tensorflow+keras搭建(代码片段)

查了一些资料,然后做一个记录,以方便之后需要时候随时参考。还是两部分内容:ubuntu下的安装和win10环境下的安装。一、ubuntu安装主要参考链接:安装keras、安装pip3(换源)使用的主要的命令如下:#查看一下是否安装了python... 查看详情

ubuntu20.04极简配置一个深度学习环境(代码片段)

目录ubuntu的内核配置系统更新查看所有内核删除冗余的内核锁定ubuntu的内核解锁ubuntu的内核安装cuda11.3和cudnn8.2.1安装CUDA11.3安装cudnn8.2.1安装OpenCV4.6.0支持cuda加速安装相关依赖编译安装测试卸载安装pytorch1.11ubuntu的内核配置避免安... 查看详情

动手学深度学习3月20日

如果想看jupyternote效果的请点击​​github地址​​importx=torch.arange(12)tensor([0,1,2,3,4,5,6,7,8,9,10,11])x.shapetorch.Size([12])x.numel()#元素种数12X=x.reshape(3,4)tensor([[0,1,2,3],[4,5,6,7],[8,9,10,11]])torch.zeros( 查看详情

ubuntu22.04深度学习gpu环境配置:nvidiacuda11.7cudnn8.5详细解读(20220910)

...装了最新版本的Ubuntu22.04LTS操作系统,并已经配备了支持深度学习的英伟达GPU,本文将手把手详细解读如何配置环境,包括安装必要的软件:例如驱动515,CUDA11.7,以及cuDNN8.5等。一、显卡驱动最先要做的就是安装显卡驱动。这一... 查看详情

ubuntu22.04深度学习gpu环境配置:nvidiacuda11.7cudnn8.5详细解读(20220910)

...装了最新版本的Ubuntu22.04LTS操作系统,并已经配备了支持深度学习的英伟达GPU,本文将手把手详细解读如何配置环境,包括安装必要的软件:例如驱动515,CUDA11.7,以及cuDNN8.5等。一、显卡驱动最先要做的就是安装显卡驱动。这一... 查看详情

ubuntu22.04深度学习gpu环境配置:nvidiacuda11.7cudnn8.5详细解读(20220910)

...装了最新版本的Ubuntu22.04LTS操作系统,并已经配备了支持深度学习的英伟达GPU,本文将手把手详细解读如何配置环境,包括安装必要的软件:例如驱动515,CUDA11.7,以及cuDNN8.5等。一、显卡驱动最先要做的就是安装显卡驱动。这一... 查看详情

深度学习---从入门到放弃pytorch基础(代码片段)

深度学习—从入门到放弃(一)pytorchTensor类似于numpy的array,pandas的dataframe;在pytorch里的数据结构是tensor,即张量tensor简单操作1.Flattenandreshape###Originalz:tensor([[0,1],[2,3],[4,5],[6,7],[8,9],[10,11]])Flatte 查看详情

ubuntu20.04极简配置一个深度学习环境(代码片段)

目录ubuntu的内核配置系统更新查看所有内核删除冗余的内核锁定ubuntu的内核解锁ubuntu的内核安装cuda11.3和cudnn8.2.1安装CUDA11.3安装cudnn8.2.1安装OpenCV4.6.0支持cuda加速安装相关依赖编译安装测试卸载安装pytorch1.11ubuntu的内核配置避免安... 查看详情

从零到一保姆级ubuntu深度学习服务器环境配置教程(代码片段)

...装四、安装cuda+cudnn4.1安装cuda4.2安装cudnn4.3卸载cuda五、深度学习环境安装5.1安装Anaconda5.2Pytorch框架安装5.3PaddlePaddle框架安装5.4TensorRT安装5.5OpenCV编译与安装六、编辑器安装与配置6.1Pycharm6.2Clion七、Docker和Nvidia-Docker安装7.1Docker安... 查看详情

小白入门深度学习|第一篇:配置深度学习环境

文章目录一、配置Python3环境二、安装CPU版本的tf2环境三、安装jupyternotebook四、安装GPU版本tf2环境1.找到显卡对应的CUDA2.下载相应的CUDA3.下载相应的cudnn4.添加环境变量5.安装tensorflow-gpu一、配置Python3环境这里推荐去Python官网下载安... 查看详情

小白入门深度学习|第一篇:配置深度学习环境(代码片段)

文章目录一、配置Python3环境二、安装CPU版本的tf2环境三、安装jupyternotebook四、安装GPU版本tf2环境1.找到显卡对应的CUDA2.下载相应的CUDA3.下载相应的cudnn4.添加环境变量5.安装tensorflow-gpu一、配置Python3环境这里推荐去Python官网下载安... 查看详情

ubuntu14.04下的nvidiateslak80显卡驱动的安装教程

  搞深度学习如何能够不与浑身是“核”的显卡打交道呢?  人工智能的兴起除了数据量的大量提升,算法的不断改进,计算能力的逐步提高,还离不开软件基础设施的逐步完善。当下的主流的深度学习工具软件无论... 查看详情