深度学习主机攒机小记

蘭亭客 蘭亭客     2022-09-29     507

关键词:

本文來源網址:http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E6%94%92%E6%9C%BA%E5%B0%8F%E8%AE%B0

Update: 这篇文章写于一年以前,这一年深度学习的大潮继续推进,1080也升级到1080TI了,攒机也有了更多更好的选择。最近更新了一篇文章:《从零开始搭建深度学习服务器:硬件选择》,可以看完下文后(主要提供了一些选择的思路),再来看最新的这篇(主要提供了一些配置选择),相得益彰。另外强烈不推荐雷霆世纪的主机,售后服务严重不靠谱。

2016年5月中下旬的时候,GTX1080的公布和发售直接刺激了我攒一台深度学习主机的欲望,攒机对于我来说已经相隔十多年,大学时候的第一台PC就是攒出来的,其实也就是在5000元的预算内,去电脑城里找商家组装了一台台式机,美其名曰DIY。

虽然已经锁定显卡,但是对于其他的搭配还是很模糊,只是需要“好CPU”,“大内存", “大硬盘", 于是开始google “深度学习电脑”,“深度学习服务器”,“深度学习PC”, “深度学习主机”,“深度学习机器”,“深度学习工作站”这些关键词,并很快锁定了这篇文章《如何搭建一台深度学习服务器》作为主要参考:

硬件选择:基本思路是单显卡机器,保留升级空间

......

CPU选择:
在深度学习任务中,CPU并不负责主要任务,单显卡计算时只有一个核心达到100%负荷,所以CPU的核心数量和显卡数量一致即可,太多没有必要,但是处理PCIE的带宽要到40。

主板选择:
需要支持X99架构,支持PCIe3.0,还要支持4通道DDR4内存架构。如果要搞四显卡并行,PCIE带宽支持要达到40,并且支持4-Way NVIDA SLI技术。

内存:
达到显存的二倍即可,当然有钱的话越大越好。

电源问题:一个显卡的功率接近300W,四显卡建议电源在1500W以上,为了以后扩展,选择了1600W的电源。

机箱散热:
因为各种部件相当庞大,需要有良好散热功能的大机箱,选择了Tt Thermaltake Core V51机箱,标配3个12cm风扇。未来如果需要还可以加装水冷设备。

......

最后的硬件配置:
CPU: Intel X99平台 i7 5960K
内存: DDR4 2800 32G(8G*4)
主板: GIGABYTE X99-UD4
显卡: GTX Titan X
硬盘: SSD+普通硬盘

 

按照这篇文章的配置,在淘宝查了一下相关价格,这个配置大概20000+的水平,如果作者再搞个4路显卡并行,绝对土豪。不过这里面的i7 5960K很少见,应该对应的是i7 5960X。

对于我来说,主要是围绕着GTX1080来配置深度学习服务器,不过这个时候上文所说的一些概念还比较模糊,于是以一个游戏玩家的身份跑了一趟电脑城,当我向商家说明来意,要配置一个GTX1080主机时,商家除了纷纷表示GTX1080货源紧缺,需要预定外,也有的会在打完几个电话后告诉我有现货但需要加价,极端的一个例子是华硕的公版GTX1080当时加到了6900。不过几乎无一例外,他们给的配置清单基本上是这样的:

CPU: Intel i7 6700K
内存: DDR4 32G(8G*4)
主板: 华硕Z170-P or Z170-AR
显卡: GTX 1080
硬盘: SSD+普通硬盘
......

加上其他配件,大概12000+的样子。当然,我只是通过市场调研一下,并不急于入手,于是回到家里,继续google。

i7-6700K 是去年发布的6代酷睿i系列处理器,它最大的变化是 “14nm工艺+新架构(Skylake),对于老态龙钟的Haswell有着工艺和架构的双‘料‘改进!新架构意味着同频性能更强,新工艺意味着功耗更低”。另外i7-6700K是“四核心八线程、8MB三级缓存,CPU频率基准4.0GHz、最高4.2GHz,总线支持十六条PCI-E 3.0,内存支持双通道DDR4-2133、DDR3L-1600”。特别注意这里的PCIE 3.0,总计只有16条,这个就很有局限了。同样它所支持Z170等系列主板,无论在显卡支持数量和最大内存容量上都不如X99的可扩展性强。譬如这里的华硕Z170主板,必须是Z170-A或者在Z170-AR才能支持双路显卡,稍差一点的Z170-P仅支持一个显卡。内存插槽上,Z170多是4个,而X99一般都是8个。

于是将目光又一次转向了X99平台,重新审视了i7-5960Xi7-5930Ki7-5820k这几个两年前英特尔发布的22纳米工艺的Haswell-E系列的CPU。下面这幅图其实一目了然:

技术分享

注意其中的PCIE-3.0个数,5960x和5930k都是40,而5820K只有28,这样的话“具备完整的40条PCI-E的i7-5960X和i7-5930K可以以“x16+x8+x8+x8”的带宽分配方式组建四路的SLI或者CrossFire,而“小弟”i7-5820K最多只能组建“x16+x8”或“x8+x8+x8”的双路或者三路显卡并联系统。”

显然,在可扩展性上,5960x和5930k更好,不过在价格上自然也有区分,目前淘宝上5960x大概7000左右,5930k在4000左右,5820k在2700左右。

对于我来说,还没有打算做多路显卡并联,但是为了可扩展性,所以初步选择了5390k或者5820K作为CPU备选。但是最大的问题还是GTX1080的货源问题,淘宝天猫上全是预定,托朋友关系咨询当地技嘉总代,拿GTX1080必须搭配其他显卡销售,不过有个很优惠的价格可以拿到 GTX Titan X ,为此还在微博上咨询了一下是选择GTX1080还是GTX Titan X,李沐M和其他几个同学的回答基本让我确定等待GTX1080。另外李沐大神有几篇关于GPU的文章,不过都是超级土豪的,感兴趣的同学可以参考。

之前曾google到一篇GTX1080机器的文章:国产首款GTX 1080游戏PC开售,不过当时对这些配置还无感,调研了一番回头再看的时候,发现雷霆世纪所推的这款GTX1080主机性价比超高,可惜这个主机第一轮预定完之后到目前为止一直显示无货:

CPU:Intel i7-6800K(6核12线程)
主板:华硕X99-E
显卡:GTX 1080
SSD:三星SM951 256G(M.2接口)
电源:海韵X-850 850W(80 PLUS全模组)
机箱:迎广805C红 中塔式机箱(铝合金,双面钢化玻璃侧透)
散热:采融B81 V2黑色雷霆定制版(纯铜底、6热管、PMW风扇)
内存:自行购买(DDR4)
系统:预装Windows 10测试版系统

这套配置里面提到了i7-6800K,查了一下,是最近Intel刚刚推出的发烧级桌面处理器Broadwell-E系列中的一员:

技术分享

网上有评论i7-6800k是i7-5820k的升级版,虽然同样支持X99架构主板,但是同样的问题也是PCIE-3.0个数只有28个。不过同为升级版,不差钱的同学可以考虑将上文中i7-5960X的配置替换为Broadell-E系列里的旗舰产品i7-6950X,10核心20线程顶级配置,淘宝报价目前在15000左右。

雷霆世纪这款GTX1080主机虽然很诱惑,但是一直显示无货,不过在浏览相关的产品的时候发现另一款 “The one 2 Plus自由版” ,除了没有显卡,主板型号略微有点差异外,其他配置和上一款GTX1080机器基本相同,当然都没有内存。此时恰逢京东618期间的活动,价格比原价7488还低了600,6888可以搞定,稍微淘宝了一下相关的配件价格,粗略计算自己配的话大概需要8500+,所以马上付定金预定。当时的页面显示,6.26号付全款,6.28号之后按付款顺序发货。

所以必须等了,不过这期间一个朋友通过种种努力在当地技嘉总代帮我搞定了一块非公版GTX1080显卡:技嘉GTX1080 G1 GAMING ,于是,在拿到显卡的当天,发了一条微博:为信仰充值。之后又在淘宝上买来了4条16G内存条和一块4T硬盘(组SSD+普通硬盘),外加显示器和鼠标硬盘,这套所谓的GTX1080深度学习主机配置是这样的:

CPU:英特尔(Intel)酷睿六核i7-6800K 2011-V3接口 盒装CPU处理器
主板:华硕(ASUS)X99-A/USB 3.1 主板 (Intel X99/LGA 2011-v3)
显卡:技嘉GTX1080 G1 GAMING 非公版
硬盘:三星 SM951 M.2 256G SSD + 西部数据 WD40EZRZ 4T台式机硬盘(蓝盘64M)
内存:64G 金士顿骇客Fury DDR4 2400 16G单条 * 4
机箱:迎广(IN WIN)805c红 ATX中塔式机箱 黑紅色 铝合金/钢化玻璃/双面侧透(U2*2+U3*1+U3.1*1)
电源:海韵(Seasonic)额定850W X-850 电源(80PLUS金牌/全模组/全日系电容/支持SLI/支持背线)
散热器:采融 B81 V2(黑色)

总计15000多一点:主要配置(6888)+ 显卡(5000)+ 4条内存(1800,最近内存涨得比较猛)+ 硬盘(780)+ 显示器(800)。前几天终于拿到主机,并找来雷霆售后师傅帮我把散热、内存、显卡、硬盘安装调试好,系统预装的是Windows10试用版,当然,很快它就会被Ubuntu取代,最后上几张图:

技术分享

技术分享

技术分享

技术分享

参考资料:

如何搭建一台深度学习服务器:http://www.r-bloggers.com/lang/chinese/2042
GPU集群折腾手记——2015:http://mli.github.io/gpu/2016/01/17/build-gpu-clusters/
Nvidia新的Pascal值不值得买(升级):http://mli.github.io/2016/06/14/new-pascal/
如何配置一台适用于深度学习的工作站:https://www.zhihu.com/question/33996159
Which GPU(s) to Get for Deep Learning: http://timdettmers.com/2014/08/14/which-gpu-for-deep-learning/
A Full Hardware Guide to Deep Learning:http://timdettmers.com/2015/03/09/deep-learning-hardware-guide/
Building a Deep Learning (Dream) Machine:http://graphific.github.io/posts/building-a-deep-learning-dream-machine/
Reddit: gtx1080 vs 1070 for machine learning?

注:原创文章,转载请注明出处及保留链接“我爱自然语言处理”:http://www.52nlp.cn

本文链接地址:深度学习主机攒机小记 http://www.52nlp.cn/?p=9081





































神经网络深度学习学习小记

一、sigmodfunction出现的必要性:  为什么不直接用stagefunction?在feedback时,假如说我们现在用的是stagefunction,直接用楼梯式的跳跃函数,我们每次做很小的参数改动时。如果说这个之前这个参数使函数值落在0-1改变的那一块区... 查看详情

《动手学深度学习》小记

一、随着书上的步骤安装环境,第一个需要解决的问题是如何配合该书利用jupyter:在下载好的gluon_tutorials_zh-1.0文件夹处启动命令窗口(1.shift+右键+从此处打开命令行窗口2.进入该文件夹,在文件路径处输入cmd可达到同样的效果... 查看详情

第一篇如何选择深度学习主机

...善其事,必先利其器”。对于我们来说,如果我们想学好深度学习,一台配置好的主机必不可少。那么如何选着主机的配置呢?今天我就通过这篇文章和大家梳理一下。说到主机的配置,对于学习深度学习的人来说最重要的配件... 查看详情

ssh学习小记

ssh为SecureSHell的缩写。OpenSSH:ssh协议的开源实现。SSH协议版本 v1:基于CRC-32做MAC,不安全;man-in-middle v2:双方主机协议选择安全的MAC方式 基于DH算法做密钥交换,基于RSA或DSA实现身份认证OpenSSH实现的客户端,服务端 C/S架构 C:ssh,scp... 查看详情

第一篇如何选择深度学习主机

...善其事,必先利其器”。对于我们来说,如果我们想学好深度学习,一台配置好的主机必不可少。那么如何选着主机的配置呢?今天我就通过这篇文章和大家梳理一下。说到主机的配置,对于学习深度学习的人来说最重要的配件... 查看详情

子网掩码学习小记

1、子网掩码的概念及作用子网掩码是一个应用于TCP/IP网络的32位二进制值,它可以屏蔽掉ip地址中的一部分,从而分离出ip地址中的网络部分与主机部分,基于子网掩码,管理员可以将网络进一步划分为若干子网。... 查看详情

aws之搭建深度学习主机

B.G至2017.11GPU选型:(参考知乎、CSDN)高性价比的两款:GTX1080ti,TitanX--通常调试算法 i7CPU+32G内存+SSD+2*GPU(单块显存>6G),总计成本2.7-4w+RMB土豪系列:TeslaK80,M40 云:(每小时成本高于物理机,优势是托管环境系统)AWS、UCl... 查看详情

子网掩码学习小记

1、子网掩码的概念及作用子网掩码是一个应用于TCP/IP网络的32位二进制值,它可以屏蔽掉ip地址中的一部分,从而分离出ip地址中的网络部分与主机部分,基于子网掩码,管理员可以将网络进一步划分为若干子网。... 查看详情

logstash学习小记

logstash学习小记标签(空格分隔):日志收集IntroduceLogstashisatoolformanagingeventsandlogs.Youcanuseittocollectlogs,parsethem,andstorethemforlateruse(like,forsearching).–http://logstash.net自从2013年logstash被ES公司收购之后,ELK 查看详情

深度学习主机配置推荐

如何选择主机的配置?是深度学习领域的众多学习和工作者可能想问的问题。那这篇文章就从显卡,主板,内存等多个方面来给大家不同的选择。深度学习主机的配置(渲染主机也基本适用)。3万元内的预算... 查看详情

[人工智能-深度学习-38]:环境搭建-训练主机硬件选择全指南(cpu/gpu/内存/硬盘/电源)

...式机还是笔记本1.2简单汇总第2章台式机的GPU选择2.1GPU是深度学习训练的必然选择&# 查看详情

linux学习小记(一)

shell 学习小记:注意:多看系统脚本  多模仿   su切换用户时需要输入目标用户密码,root(superuser)切换到任何用户都不需要输入密码,- 参数必须要是最后一个(su huhu -)sudo需要输入当前用户密码,... 查看详情

vue学习小记

vue中有 data()、computed、methods、beforeRouteLeave、created等具体的:   data():定义一些文件中需要用到的变量,data中带return,是使数据只在当前组件中可用,不会影响其他组件,不使用return,会让数据在全局可见,会造成污染 ... 查看详情

mysql安装小记

最近申请了一台云主机,准备在云主机安装数据库mysql用。将安装过程记录一下。1.安装mysql之前需要确保系统中有libaio依赖,使用如下命令:yumsearchlibaioyuminstalllibaio进入centos终端操作界面,使用wget命令下载mysql5.764位安装文件:... 查看详情

学习小记

近来的学习情况有些枯燥和无聊。我的心里总体感觉就是这样,每天自己看书看到打瞌睡,是不是因为我太懒啦~坐着都会睡着。关键是真的太无聊啦。自己一个人做自己的事情,一个说话的人都米有,明明身边都是人呀,怎么... 查看详情

yarn学习小记

官网:https://yarnpkg.com/zh-Hans/docs/installing-dependencies简介:包管理工具,和npm类似主要特点:快速、安全、可靠  快速:本地安装包后,会进行缓存,下次再安装时,直接从缓存中取,不需要再请求网络  安全:通过相关机制... 查看详情

数据库规范——学习小记(代码片段)

数据库规范——学习小记之前在学习后端开发的时候,在数据库这一块,有关建表与查询效率等方面一直存有疑问,但因为做的项目都很小,不太需要考虑效率与规范,所以想着能实现功能就行。因此最近打算深入了解一些建表... 查看详情

selenium学习小记

selenium用于页面自动化测试,其简介云云这里不再粘来粘去的赘述,浪费时间。下面说说自己遇到的一点小问题,及其处理方法。一:selenium安装  安装方法,百度一下,相比大家都会见到很多前辈们的详细解释。但是也并不... 查看详情