从零开始搭建深度学习环境(代码片段)

zhongrui_fzr zhongrui_fzr     2023-03-01     115

关键词:

开始深度学习调参之路不能没有一个趁手的环境

安装基础环境

我使用的机器环境是:Ubuntu18.04

  1. 安装显卡驱动
    1.
    2. 按照cuda所需的版本安装
    3. sudo ubuntu-drivers autoinstall
  2. 安装pip
    1. sudo apt-get install python-pip
  3. 下载anaconda3
    1. 地址:https://www.anaconda.com/distribution/
    2. 安装路径:/home/anaconda3
    3. 进入下载路径:bash Anaconda3-5.2.0-Linux-x86_64.sh
    4. 打开.bashrc验证anaconda环境变量
  4. 查看NVIDIA图形卡和推荐的驱动程序的模型:ubuntu-drivers devices
    1.
  5. 验证显卡驱动版本: cat /proc/driver/nvidia/version
  6. 安装cuda
    1. 版本选择:
      1. 只有cudnn7.4.2支持Ubuntu18.04和16.04
      2. cuDnn 7.4.2需要cuda10.0, cuda10.0需要gcc版本是7.3.0,而Ubuntu18.04的GCC版本正是7.3,无需降级,因此选择cuda版本为10.0
    2. 下载cuda10.0:https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1804&target_type=runfilelocal
    3. 如果有多个文件,之后的属于补丁,需要全部下载
    4. 安装cuda:进入下载目录,执行 sudo sh cuda_10.0.130_410.48_linux.run, 如果有其他的补丁文件,需要同样方式执行
    5. 之前已经安装过显卡驱动程序,因此在提问是否安装显卡驱动时选择no,其他默认(NVIDIA Accelerated Graphics Driver)
    6. 增加环境变量
    7. 验证cuda版本:nvcc -V
  7. 安装cudnn
    1. cuDnn的安装,就是讲cuDNN包内的文件,拷贝到cuda文件夹中即可
    2. 下载地址:https://developer.nvidia.com/rdp/cudnn-download
    3. tar -zxvf 解压缩
    4. sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
    5. sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
    6. sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
      接下来就可以安装tensorflow的gpu版本了

安装tensorflow

1、下载安装anaconda
可以先配置国内镜像,加快速度
修改pip源

linux下,修改 ~/.pip/pip.conf (没有就创建一个), 修改 index-url至tuna,内容如下:
 [global]
 index-url = https://pypi.tuna.tsinghua.edu.cn/simple

2、创建TensorFlow环境

// 创建环境,在anaconda默认envs路径下
$ conda create -n tensorflow python=3.5
// 移除环境
$ conda remove —name tensorflow —all
// 在指定envs路径下创建环境
$ conda create --prefix=/Users/fzr/.conda/envs tensorflow python=3.5
注意:目前Mac上的Tensorflow仅仅支持CPU版本,而且3.0以上版本仅支持3.5版本,所以创建环境的时候一定要加上Python=3.5。详情可以去Github Tensorflow查看。

3、设置国内镜像

# 添加Anaconda的清华开源软件镜像
conda config -—add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
# TUNA的help种镜像地址有引号,需要去掉
# 设置搜索时显示通道地址
conda config —set show_channel_urls yes
查看镜像列表:
conda config —-show
移除镜像:
conda config —-remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'
在镜像修改之后,一定要验证:conda config --show
查看anaconda所有环境信息
conda env list
查看anaconda安装信息
conda info

4、安装TensorFlow
目前仅仅是创建了一个空的环境,仅有与Python3.5相关的一些包,需要先激活环境,然后安装TensorFlow

//激活环境
$ source activate tensorflow
//安装TensorFlow
$ pip install tensorflow
// 关闭环境
$ source deactivate

查看某个指定环境的已安装包

conda list -n python34

5、测试是否安装成功

// 激活环境后,进入Python
>>> import tensorflow as tf
>>> hello = tf.constant('hello, Tensorflow’)
>>> sess = tf.Session()
>>> print(sess.run(hello))
hello, Tensorflow

6、tensorflow常用包安装
conda install opencv-python
conda install -c chembl easydict
conda install cython
conda install tqdm
conda install scipy
conda install matplotlib
conda install Pillow
conda install scikit-learn
conda install pyyaml

PIL 安装会和easydict冲突,因此选择Pillow
Import cv2 报错解决
apt update && apt install -y libsm6 libxext6
apt-get install libxrender1
apt-get install libglib2.0-0

从零开始搭建深度学习环境(代码片段)

开始深度学习调参之路不能没有一个趁手的环境安装基础环境我使用的机器环境是:Ubuntu18.04安装显卡驱动1.2.按照cuda所需的版本安装3.sudoubuntu-driversautoinstall安装pipsudoapt-getinstallpython-pip下载anaconda3地址:https://www.anaconda.co... 查看详情

linux下nvidia显卡驱动+cuda+anaconda安装配置全流程(记录深度学习服务器环境从零开始搭建)(代码片段)

...安装四结语与后续〇目的以及初始条件本帖旨在记录一次从零开始搭建深度学习Linux服务器所需 查看详情

mybatis学习1:从零开始搭建mybatis环境(代码片段)

Mybatis简介MyBatis是一款优秀的持久层框架MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集的过程MyBatis可以使用简单的XML或注解来配置和映射原生信息,将接口和Java的实体类【PlainOldJavaObjects,普通的Java对象】映... 查看详情

史上最全springcloudalibaba入门教程,从零开始带你深入♂学习——环境搭建(代码片段)

SpringCloudAlibaba(一)——环境搭建SpringCloudAlibaba简介springcloudspring团队开源微服务工具集,帮助我们快速构建分布式系统(微服务系统),提供spring组织netflixspringcloudalibabaalibaba团队开源微服务工具集,... 查看详情

keras深度学习实战(15)——从零开始实现yolo目标检测(代码片段)

Keras深度学习实战(15)——从零开始实现YOLO目标检测0.前言1.YOLO目标检测模型1.1锚框(anchorboxes)1.2YOLO目标检测模型原理2.从零开始实现YOLO目标检测2.1加载数据集2.2计算锚框尺寸2.3创建训练数据集2.4实现YOLO目标检测模型2.5... 查看详情

keras深度学习实战(24)——从零开始构建单词向量(代码片段)

Keras深度学习实战(24)——从零开始构建单词向量0.前言1.单词向量1.1Word2Vec原理1.2构建单词向量1.3神经网络架构2.使用Keras从零开始构建单词向量3.测量单词向量之间的相似度小结系列链接0.前言在解决文本相关问题时,传统方法... 查看详情

keras深度学习实战(24)——从零开始构建单词向量(代码片段)

Keras深度学习实战(24)——从零开始构建单词向量0.前言1.单词向量1.1Word2Vec原理1.2构建单词向量1.3神经网络架构2.使用Keras从零开始构建单词向量3.测量单词向量之间的相似度小结系列链接0.前言在解决文本相关问题时ÿ... 查看详情

从零开始学深度学习编译器十六,mlirods要点总结上篇(代码片段)

前言在【从零开始学深度学习编译器】十二,MLIRToyTutorials学习笔记一中提到MLIR是通过Dialect来统一各种不同级别的IR,即负责定义各种Operation(算子)。然后对Dialect和Operation的定义又是通过TabelGen规范构造的,... 查看详情

从零开始写博客系统——环境搭建(代码片段)

环境相关内容关于Python的安装,环境变量等配置这里就不单独出文章了,网上有大量的文章可以参考。我使用的Mac电脑,使用Windows也是同样可以的。只不过某些配置可能略有差异。$python3-VPython3.6.6我的Python版本如上&#... 查看详情

个人电脑如何搭建深度学习/机器学习开发环境?(代码片段)

...器+16G内存+120G固态+500G机械 软件信息:ubuntu16.04:一开始安装的是18.04,NVIDIA官方暂未提供这个版本的driver,安装过程中提示找不带显卡驱动。建议大家不要盲目追求新。cuda:GPU上的并行计算平台和模型;版本选择cuda-8.0cudnn... 查看详情

从零开始的跨平台渲染引擎——opengl基础环境搭建(代码片段)

...码仓的链接:https://github.com/dongzhong/ReZero。代码也是从零开始搭建,会逐步的完善功能。一、OpenGL环境介绍Op 查看详情

从零开始的跨平台渲染引擎——opengl基础环境搭建(代码片段)

...码仓的链接:https://github.com/dongzhong/ReZero。代码也是从零开始搭建,会逐步的完善功能。一、OpenGL环境介绍Op 查看详情

手把手教你搭建深度学习环境(代码片段)

...64.iso镜像制作软件UISO9一个空的U盘有个这三样我们就可以开始安装我们的ubuntu系统了。我们需要先安装好 查看详情

从零开始实现一个深度学习框架|激活函数,损失函数与卷积层(代码片段)

往期回顾super(Sigmoid,self).__init__()x=/(+np.exp(-x))xp=self.forward(self.storage[gradient=p*(-p)accumulated_gradient*gradientsuper(Tanh,self).__init__()x=/(+np.exp(*x))-xp=self.forward(self.storage[grad 查看详情

《动手学深度学习》线性回归从零开始(linear-regression-scratch)(代码片段)

线性回归的从零开始实现前言1.生成数据集2.读取数据3.初始化模型参数4.定义模型5.定义损失函数6.定义优化算法7.训练模型8.小结前言在了解了线性回归的背景知识之后,现在我们可以动手实现它了。尽管强大的深度学习框架... 查看详情

《动手学深度学习》线性回归从零开始(linear-regression-scratch)(代码片段)

线性回归的从零开始实现前言1.生成数据集2.读取数据3.初始化模型参数4.定义模型5.定义损失函数6.定义优化算法7.训练模型8.小结前言在了解了线性回归的背景知识之后,现在我们可以动手实现它了。尽管强大的深度学习框架... 查看详情

李沐《动手学深度学习》第二版pytorch笔记1环境搭建(代码片段)

李沐《动手学深度学习》第二版pytorch笔记1搭建环境文章目录李沐《动手学深度学习》第二版pytorch笔记1搭建环境此时尚有耐心虚拟环境搭建创建虚拟环境查看已有的虚拟环境激活虚拟环境安装深度学习框架和d2l软件包安装d2l安... 查看详情

skywalking学习之路---skywalking环境从零搭建(代码片段)

介绍SkyWalking项目是由华为大牛吴晟开源的个人项目,目前已经加入Apache孵化器。SkyWalking项目的核心目标是针对微服务、CloudNative、容器化架构提供应用性能监控和分布式调用链追踪功能,目前链路追踪和监控应用支持的组件包... 查看详情