关键词：
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★，第一时间获取资源
仅做学术分享，如有侵权，联系删除
转载于 ：新智元
突触是神经网络的「桥梁」。今日，Cerebras 宣布世界首个「大脑级」AI 集群，能够训练120万亿参数模型，击败人脑百万亿个突触！
突触，是神经网络的「桥梁」。
人类大脑有大约 100 万亿个突触，860 亿个神经元。
因为有了突触，才可以把神经元的电信号传递到下一神经元。
而现在，Cerebras 宣布了「第一个大脑级 AI 解决方案」！
一个可以支持 120 万亿参数 AI 模型的单一系统，击败了人脑万亿个突触。
相比之下，最大的AI硬件集群大约占人类大脑规模的 1%，约 1 万亿个突触（参数）。
Cerebras 可以通过单个CS-2系统（85万个内核）实现首创！
世界第一！192个AI集群，解锁万亿参数模型
参数越多，人工智能模型就越复杂。
谷歌在短短2年内将模型参数的数量提高了大约1000倍。
参数的数量，所需的算力，都呈指数级增长。
Cerebras 的创始人兼首席执行官Andrew Feldman表示，最新的处理器如此强大的原因就是，在晶片上打造而不是单个芯片上。
192个 CS-2 集中在一起，将使最大的人工智能神经网络的规模扩大100倍。
Cerebras系统由其第二代晶圆WSE-2提供动力。
WSE-2 有2.6万亿个晶体管和85万个AI优化内核，再次刷新记录。
相比之下，最大的图形处理器只有540亿个晶体管，比 WSE-2少2.55万亿个晶体管。
与英伟达相比，WSE-2还拥有内核数是A100的123倍；缓存是其1000倍；可提供的内存带宽，则达到了A100的13万倍。
「大脑级」 AI 解决方案
首个大脑级 AI 解决方案如何诞生呢？
除了用到最大芯片，Cerebras还揭露了4项新技术。
这种技术组合可以轻松组建大脑规模的神经网络，并将工作分配到人工智能优化的核心集群上。
一、Cerebras Weight Streaming：分解计算和内存
这是一种新的软件执行模式，可以将计算和参数存储分解，使规模和速度得以独立且灵活地扩展，同时解决了小型处理器集群存在的延迟和内存带宽问题。
具体来说，这项技术首次实现了在芯片外存储模型参数，同时提供与在芯片上相同的训练和推理性能。
建立在WSE庞大规模的基础上，一个小型参数存储可以连接包含数千万个内核的许多晶圆，或者说，120 万亿个参数模型需要的 2.4 PB 存储可以分配给单个 CS-2。
模型权重保存在中央芯片外，它们被传输到晶片上，用于神经网络每一层的计算。
在神经网络的增量训练中，梯度从晶圆流到中央存储，然后被用于更新权重。
最终，用户可以将 CS-2 的使用数量从1个扩展到192个，同时无需更改软件。
二、Cerebras MemoryX：启用百万亿参数模型
这是一种一内存扩展技术，它使模型参数能够存储在芯片外，并有效地流式传输到 CS-2，实现同在芯片上那样的性能。
这一架构灵活性极强，支持4TB 到 2.4PB 的存储配置，2000 亿到 120 万亿的参数大小。
也就是说，最终，WSE 2可以提供高达 2.4 PB 的高性能内存，CS-2 可以支持具有多达 120 万亿个参数的模型。
三、Cerebras SwarmX：提供更大、更高效的集群
这是一种人工智能优化的高性能通信结构，可将 Cerebras的芯片内结构扩展到芯片外，从而扩展AI集群，而且使其性能实现线性扩展。
也就是说，10 个 CS-2 有望实现比单个 CS-2 快 10 倍的相同解决方案。
最终，SwarmX 可以将CS-2 系统从2个扩展到192 个，鉴于每个 CS-2 提供85万个 AI 优化内核，Cerebras 便可连接 1.63 亿个 AI 优化内核集群。
连接SwarmX的 CS-2 计算机接收神经网络的权重流、分割后的训练数据，同时计算传送到 MemoryX 的反向传播梯度。
四、Selectable Sparsity：缩短时间
Cerebras WSE 基于细粒度数据流架构，其 85万个 AI 优化计算内核可以单独忽略零。
Cerebras 架构独有的数据流调度和巨大的内存带宽，使这种类型的细粒度处理能够加速所有形式的稀疏性。
Cerebras
简言之，用户可以在他们的模型中选择权重稀疏程度，直接减少 FLOPs 和解决时间。
比iPad还大，「巨无霸」芯片迭代史
「巨芯」一代问世，大有可为
科技行业日新月异，变化发展飞快。芯片行业更是如此，之前再先进的工艺，两年后就有可能面临淘汰。这是信息时代不可逆转的趋势。
作为全球芯片龙头，NVIDIA依然占据着庞大的市场份额。
位于美国硅谷的AI创企Cerebras虽然没有NVIDIA那么全面，但其技术解决方案显然已经吸引到了许多客户。
早在2019年，Cerebras曾发布了第一代WSE（Wafer Scale Engine）芯片。
这款芯片是有史以来最大的AI芯片，有40万个内核和1.2万亿个晶体管，使用台积电16nm工艺制程。
与多数芯片不同，一代「巨芯」不是在12英寸硅晶圆上制作的，而是在单个晶圆上通过互联实现的单芯片。互联设计可保持高速运行，使万亿个晶体管同时工作。
与传统芯片相比，WSE还包含3000倍的高速片上存储器，并具有10000倍的存储器带宽。WSE的总带宽为每秒100 petabits，不需要诸如TCP/IP和MPI之类的通信协议支持。
由于大芯片可以更快处理信息，减少训练时间，研究人员能够测试更多想法。WSE的问世在当时消除了整个行业进步的主要瓶颈。
「巨芯」二代另辟蹊径，良率更高
2021年，Cerebras推出了最新的Wafer Scale Engine 2（WSE-2）芯片，该芯片为超级计算任务而构建，具有破纪录的2.6万亿个晶体管和85万颗AI优化内核，采用台积电的7nm工艺制造。
与第一代WSE芯片相比，二代芯片更加先进。
WSE-2的晶体管数、内核数、内存、内存带宽和结构带宽等性能特征增加了一倍以上。
在先进工艺的支持下，Cerebras 可以在同样的8*8英寸，面积约46225mm2的芯片中塞进更多的晶体管。
而且，正是采用了台积电的7nm工艺，电路之间的宽度仅有七十亿分之一米。
当有内核发生故障时，单独的故障内核并不影响芯片的使用。况且在台积电这样的晶圆代工厂中，很少会出现连续的内核缺陷。
由此可见，二代「巨芯」的良率较高。
参考资料：
https://www.wired.com/story/cerebras-chip-cluster-neural-networks-ai/
https://www.tomshardware.com/news/worlds-largest-chip-unlocks-brain-sized-ai-models-with-163-million-core-cluster
---------♥---------
声明：本内容来源网络，版权属于原作者
图片来源网络，不代表本公众号立场。如有侵权，联系删除
AI博士私人微信，还有少量空位
点个在看支持一下吧
英特尔发布首个7nm芯片loihi2，用于神经拟态计算，可模拟100万神经元
晓查发自凹非寺量子位报道|公众号QbitAI今天，英特尔发布了第二代神经拟态芯片Loihi2。神经拟态芯片是一种模拟生物神经元的芯片。与普通芯片不同的是，神经拟态芯片的计算任务是由许多小单元进行的，单元之间... 查看详情
ai简报20210827期ai芯片逐步落地智能教育硬件市场！用ai设计芯片会成为未来趋势吗？...(代码片段)
嵌入式AI硬件1.集成全球最大AI芯片，Cerebras发布全球首个人类大脑规模的AI解决方案原文：https://new.qq.com/omn/20210826/20210826A06VH900.html8月25日凌晨，曾推出“全球最大”的AI芯片WaferScaleEngine（以下简称“WSE”）的... 查看详情
全球首个塑料arm芯片登上nature，成本仅同类硅芯片1/10
...器PlasticArm。（图为显微镜下的照片）该处理器是全球首个柔性原生32位、基于ARM架构、高达18334个等效门的微处理器。其生产过程不涉及到硅元素，生产成本大概为同类硅芯 查看详情
极客日报：达摩院实现全球最大ai预训练模型；苹果3nm芯片或将2023年问世；微软官宣加入jcp计划
一分钟速览新闻点！达摩院实现全球最大AI预训练模型清华北大等18所高校设立集成电路博士授权点购物平台推出“协助退订营销短信”功能抖音内测“听视频模式”：切回桌面后可继续听视频内容微信已支持导出个人信... 查看详情
打破ai算力成本困局趋动科技即将重磅发布全球首个ai算力池化云服务
...本届大会聚焦"算力新时代·开源创未来"主题，全球AI算力池化技术领导者趋动科技将在主会环节正式发布业内首个AI算力池化云服务——趋动云VirtAICloud(趋动云-连接全球算力 查看详情
asml终于认清现实，加速向中国芯片出货光刻机
...ASML与中国芯片的合作得到加强，它如此做的原因在于全球市场的变化。首先是全球芯片市场对光刻机的需求可能发生变化，全球最大的芯片代工企业台积电表示已用3DWOW封装技术为英国芯片企业推出首款芯片，该款芯... 查看详情
全球首个ai英语老师在中国诞生—人工智能对教育行业新一轮革命
...世界。在教育领域，人工智能又能带来哪些改变。近日，全球首个人工智能英语老师在中国诞生，一家专注人工智能教育的高科技教育公司成为全球人工智能教育的创行者，这家由贝乐学科英语的创始人王宁再次创业成立的新公... 查看详情
ai简报20211119期全球ai芯片峰会全球首款4nm手机芯片(代码片段)
嵌入式AI1.全球AI芯片峰会延期至12月21日-22日！NVIDIA百度昆仑芯领衔,10位嘉宾率先揭晓原文链接：https://www.sohu.com/a/501737079_115978鉴于当前疫情防控形势依然严峻，为切实保障参会嘉宾及观众的身体健康与生命安全，... 查看详情
中国最大ai芯片发布，顺手拿下四个国内第一，带benchmark的那种
...听完整场发布会，最直观的感受便是好多的“第一、首个”：中国首款支持单精度张量TF32 查看详情
oppo发布首个自研npu芯片马里亚纳marisiliconx
...式发布首款自研NPU芯片——马里亚纳®️MariSiliconX。作为首个专为影像而生的NPU芯片，马里亚纳MariSiliconX基于面向未来AI时代的DSA新黄金架构理念，通过自主创新的IP设计以及6nm先进制程，带来空前强大的实时AI计算能... 查看详情
全球首个航天大模型问世，文心秒补《富春山居图》，这是百度普惠ai的恒心...
梦晨发自凹非寺量子位|公众号QbitAI祝融号探测器火星着陆、神舟十三号、十四号成功对接空间站……每一次我国航天领域的重大进展都牵动人心。随着人类的探索星辰大海的脚步越迈越远，对技术的需求越越来越高，人... 查看详情
华为为全球数字经济作出过哪些贡献？
华为对全球的数字经济做出了突出的贡献，以下我将根据华为官方数据一一列举：①推动无处不在的链接。华为引领全球5G商用，在欧洲与运营商一起设立了5G联合创新中心，持续推动和促进5G商用和业务创新，与全球运营商、各... 查看详情
精诚探索，极客归来！百度安全打造全球首个元宇宙安全极客大会，共筑ai安全新防线...
...客们展示了KEYNOTE、VILLAGE及CONTEST等一系列核心环节。作为全球网络安全领域顶尖专业会议，自2018年5月百度安全与DEFCON联手将其引入中国并创办 查看详情
全球首颗！risc-v处理器大飞跃，模拟ai芯片问世
参考技术A近日，据外媒披露，全球首款集成了RISC-V指令集的模拟AI芯片——MythicAMP在美国奥斯汀问世。这是一款单芯片模拟计算设备，并采用Mythic的模拟计算引擎，而不是利用传统的数字来创建处理器，以便于将内存集成到处理... 查看详情
全球首家！星环科技通过3tbtpcx-ai测试，实现大数据与ai的完美融合
...ophonDiscover3.0以AIUCpm2,740.05分的优异表现，成为该数据量下全球首个成功通过测试及官方审计的产品，也是截至目前该AI基准测试最大的数据量级。TPCx-AI，贴合实际人工智能使用场景的Benchmark TPC（TransactionPro 查看详情
国产7nm工艺的gpu芯片向英伟达和amd发起挑战
...有原因，所以华为也“巧合”地成为了被美国禁令封杀的最大目标。这时候开始，我国就开始在各行各业减少对国外技术的依赖，并且在过去几年中一直在尝试生产自己的计算机处理器和GPU。虽然我国的芯片厂在节点小型化方面... 查看详情
全球估值最高ai芯片独角兽诞生！仍是中企
参考技术A【文/观察者网谷智轩】全球估值最高的人工智能（AI）芯片独角兽诞生，摘取这一头衔的仍是一家中国公司。2月27日，AI芯片初创企业地平线（HorizonRobotics）对观察者网透露，其获得6亿美元（约合40亿人民币）左右的B... 查看详情
英伟达推出全球首个元宇宙平台，豪砸数亿是为什么？
...木木出品|AI科技大本营(ID:rgznai100)NVIDIA在SIGGRAPH推出首个全球元宇宙平台，并赢得了最佳展示奖。目前处于公测阶段，它对NVIDIARTX和GeForceRTXGPU用户免费开放。用户在安装完NVIDIAStudio驱动程序后，即可获得更新支持。NVID... 查看详情