正文 

当前位置： 首页 > IT > java教程

超算平台安装anaconda和tensorflow(代码片段)

GLASSY_杨某人 GLASSY_杨某人     2022-12-12     442

关键词：

背景：因为我们学校有个超算系统，老师让我们把程序都放在上面跑。鉴于超算的GPU是Tesla V100 16GB，虽然老师只买了8块GPU的使用权，我还是不忍心用自己的电脑跑深度学习的程序。

于是记录一下安装过程。操作系统是x86_64架构的64位CentOS 7.5 Linux

其实我们学校的超算预装了挺多的程序，有自带的anaconda和tensorflow，分别有py2.7和3.6两个版本，但是实际用的时候发现很多偏僻的库没有安装，而我们又没有权限，所以要自己安装库的话还是得自己一个环境比较好。

1、首先安装Anaconda

下载的网址：https://repo.anaconda.com/archive，找到自己对应要下载的版本，比如Anaconda3-2020.11-Linux-x86_64.sh，于是下载

下载命令：wget -c https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh

下载完后的安装命令： sh Anaconda3-2020.11-Linux-x86_64.sh

之后输入yes和一大段空格的后会弹出一个让你输入路径的地方，因为没有管理员权限同时个人账户下home目录只有1G，所以需要改目录，更换默认安装位置

之后等待安装结束即可。

安装完后可换源：（换源后使用pip下载模块默认使用清华源，下载会快很多）

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --set show_channel_urls yes

还原前记得更新一下.bashrc文件，因为按照anaconda的时候会写入环境变量，更新后才能调用conda

按照完可以输入python看看默认的版本有没有发生变化。

 如果要创建虚拟环境：

创建虚拟环境在虚拟环境可以把超算上自己的python环境和平台默认的python环境隔离开，避免冲突，同时也方便运行tensorflow的代码。（创建虚拟环境的步骤和window下是一样的）

创建命令：conda create -n your_env_name python=3.6

创建python版本为3.6、名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。版本号和虚拟环境的名字自己可以更改。

安装完是这样：

source activate your_env_name(虚拟环境名称) 激活虚拟环境

source deactivate 关闭虚拟环境

激活虚拟环境后，使用pip或者conda安装相应的库，会直接安装到虚拟环境中

在.bashrc文件里面加入全局变量可以快速激活虚拟环境。就是用你自己设置的环境变量代替激活虚拟环境的命令。这样我在命令行输入my_tf就可以直接激活我的环境

alias my_tf='source activate your_env_name'

2、安装tensorflow-gpu

安装tensorflow的gpu版本的话稍微复杂一些，首先要安装cuda加速包和cudnn；要是安装cpu版本则直接pip就好了。

2.1 安装cuda

可以在官网下载到本地再传到超算上去，选对应的版本下载（我选的是CentOS7的runfile (local)）

版本问题：需要注意的是cuda和tensorflow的版本一定要和你下载或者说你要使用的python版本保持一致，否则到时候运行程序可能会出错。

 

 当然也可以用wget，但是这个网址好像已经失效了，需要自己找一下链接下载，之后用sh命令安装

wget -c https://developer.nvidia.com/compute/cuda/9.0/Prod/local_installers/cuda_9.0.176_384.81_linux-run

sh cuda_9.0.176_384.81_linux.run

安装过程：

  • 安装过程中刚开始会出现一大堆类似文档的东西（进度是More + 百分比），疯狂长按空格跳过就行
  • Do you accept the previously read EULA?    accept/decline/quit: accept（直接敲accept就行）
  • Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 396.26? 这里是说是否安装显卡驱动，一定要敲no！
  • Do you want to install the OpenGL libraries? 这是nvidia自己的opencv 应该是没有要用的，需要的话在opencv官网安装也很简单，所以敲no
  • Install the CUDA 9.2 Toolkit? 问是否安装，当然yes
  • Enter Toolkit Location
  • default is /usr/local/cuda-9.2 : 这个一定不要用默认的，因为没有su权限，目录要选到自己的安装目录下 例如：/dat01/pxyang/Tools，这里要把自己的路径敲进去。

安装成功后需要配置一下环境变量，把cuda安装的路径加进去，保证后续能全局访问。服务器下的环境变量在.bashrc文件里面设置。

进入home下，会有框住的三个文件。

在.bashrc和.bashrc_profile两个文件尾部添加：（注意是你的路径）

export PATH=/your_cuda_path/bin$PATH:+:$PATH

export LD_LIBRARY_PATH=/your_cuda_path/lib64$LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH

export CUDA_HOME=/your_cuda_path/

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/your_cuda_path/extras/CUPTI/lib64

到此，cuda安装成功。

用source ~/.bashrc更新配置文件。再验证一下，命令： nvcc -V

2.2 安装cudnn

 同样，要找到对应cuda版本的cudnn，不要搞错了。

下载命令： wget http://developer.download.nvidia.com/compute/redist/cudnn/v7.3.0/cudnn-9.0-linux-x64-v7.3.0.29.tgz

下载时可以下载到和cuda同一个目录下。这样解压后，直接就到对应的文件夹下了

如果解压后没有自动放进文件夹，就需要自己移动一下目录了。

3. 安装tensorflow-gpu

（视情况激活虚拟环境。）

pip下载tensorflow-gpu命令： pip install tensorflow-gpu==2.3（版本号）

没什么大问题的话就结束了，安装完之后可以写一个脚本提交到超算的GPU分区，看看能不能正常运行。

#!/bin/bash
import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))

使用anaconda安装tensorflow

一、什么是Anaconda？    简单来说，Anaconda是一个包管理器和环境管理器。当安装好Anaconda并开始运行时，就会发现我们电脑里面安装好的环境和依赖包都可以在Anaconda里面找到，管理（安装、更新、卸载等）起来简... 查看详情

windows下安装anaconda和tensorflow

 anaconda确实很好用，省去了很多麻烦，现在我个人推荐直接使用anaconda。anaconda的特点：可以存在多个python环境，要使用某一个环境的话，就需要切换到这个环境，安装、卸载包都是在某一个特定的环境下进行的。所谓环境其... 查看详情

anaconda下安装tensorflow和keras(代码片段)

首先在官网下载Anacondahttps://www.anaconda.com/download/安装时注意勾选第一个，增加环境变量 安装好后再windows界面打开AnacondaPrompt  condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/condac 查看详情

[tensorflow]tensorflow-cpu/gpu安装过程

　　tensorflow由于谷歌的原因，不同的版本有时候改动比较大，所以决定好自己想使用的版本后就不要轻易更改，免得后续移植程序的时候出现很多错误。　　本文以及后续文章关于tensorflow的学习和开发选在windows10平台上，使用p... 查看详情

Ubuntu 上的 Tensorflow 和 Anaconda？

】Ubuntu上的Tensorflow和Anaconda？【英文标题】：TensorflowandAnacondaonUbuntu?【发布时间】：2016-02-1207:22:47【问题描述】：在我的Ubuntu14.04上，我使用“pip”安装了tensorflow，正如TensorflowInstallationinstructions中指定的那样，我通过在python中... 查看详情

基于anaconda安装geatpy和tensorflow

装了好久的第三方包终于成功了，暴风哭泣！！！总结一下分两部分说：一.首先是在本地电脑windows系统下装：首先安利一下这个包括各种GeneticandEvolutionaryAlgorithm的工具包，是用Python写的，github链接如下：https://github.com/geatpy-dev/... 查看详情

anaconda创建caffe和tensorflow共存环境(代码片段)

...anconda的安装和使用方法就不讲解了。我们直接安装caffe和tensorflow。1、创建虚拟环境我们先创建一个用于caffe和tensorflow共存的虚拟环境：condacreate-ncaffe-tfpython=3.6直接回车，安装即可。安装好后，进入到caffe-tf虚拟环境：sourceacti 查看详情

anaconda环境下搭建tensorflow(代码片段)

该博客亦是对博客《PyCharm下配置PyQt，TensorFlow等环境》的一个扩展。 目录1.conda和Anaconda的安装2.tensorflow的安装1.conda和Anaconda的安装和pip一样，conda也是一个开源的包管理系统和环境管理系统，包括多种语言的包安装&#... 查看详情

anaconda快速安装tensorflow和keras(代码片段)

安装TensorFlow#展示anaconda中所有的环境condaenvlist#选择TensorFlow安装在哪个环境condaactivate环境名称#安装TensorFlowpipinstalltensorflow-ihttps://pypi.douban.com/simple这里推荐pip安装，其他方式安装有时会报错安装Keras从anaconda包列表中直接安... 查看详情

windows下用anaconda安装tensorflow

1.安装Anaconda选择相应的Anaconda进行安装，下载地址点击这里，下载对应系统版本的Anaconda，官网现在的版本是Anaconda4.3.1forpython3.6。笔者安装的是4.3.0版本的。 就和安装普通的软件一样，全部选择默认即可，注... 查看详情

安装tensorflow

...括Scikit-learn、NumPy、SciPy和Pandas等，其中可能有一些还是Tensorflow的依赖库。　　Anaconda提供了一个编译好 查看详情

win7下同时安装caffe和tensorflow

　　0：今天是20171114，这个教程不知道能有效到什么时候1：我们安装的GPU版，所以要安装cuda，这四个平台同时兼容的版本是，cuda8+cudnn6。去官网下的话就是cuda8的较新版本。百度云：http://pan.baidu.com/s/1pKKxS51，m2jl2：因为caffe脱离... 查看详情

用anaconda安装tensorflow

原创文章，请勿转载我是彩印网(www.caiyin.com)的技术开发人员,在这里首先请允许我做下业务的介绍　　彩印网是由北京出彩电子商务有限公司运营的专业印刷电商，集线上购物、支付、设计、制作、配送、一站式自主经营的购物... 查看详情

anaconda3tensorflow安装及modulenotfounderror:nomodulenamed'tensorflow'解答

Anaconda3的安装，参考：手把手教你如何安装Tensorflow（Windows和Linux两种版本）tensorflow的安装，参考：深度学习（TensorFlow）环境搭建：（三）Ubuntu16.04+CUDA8.0+cuDNN7+Anaconda4.4+Python3.6+TensorFlow1.3我选的是CPU下的安装，参考以上链接安装... 查看详情

旧记录-1(代码片段)

深度学习tensorflow环境搭建说明1深度学习环境深度学习作为传统神经网络的拓展，随着数据量和计算力的增加，其在计算机视觉、语音语义识别等领域，应用日益广泛。目前，主流的深度学习开源平台有Tensorflow、Caffe、PyTorch、Ker... 查看详情

强制 Anaconda 安装 tensorflow 1.14

】强制Anaconda安装tensorflow1.14【英文标题】：ForceAnacondatoinstalltensorflow1.14【发布时间】：2020-02-2911:27:41【问题描述】：现在，Anaconda上的官方TensorFlow是2.0。我的问题是如何强制Anaconda安装早期版本的TensorFlow。例如，我希望Anaconda安... 查看详情

anaconda安装tensorflow，在importtensorflow时报错，要怎么解决

参考技术A基于Anaconda的tensorflow安装1下载linux版本的Anaconda安装包2安装Anaconda利用anaconda安装tensorflow1建立一个conda计算环境2激活环境使用conda安装TensorFlow3安装tensorflow4如何在jupyter中使用tensorflow总结利用Doc 查看详情

anaconda下安装opencv和tensorflow（最简洁高效的方法）(代码片段)

安装Tensorflow1，打开AnacondaNavigator2，手动创建tensorflow环境，这个和你的python版本号一致哈（方法一第一步之后，输入python即可查看当前的版本）3，手动搜索并下载添加4，在Installed中看下是否安装成... 查看详情