将绿色计算进行到底,蚂蚁集团四大硬核黑科技全公开

CSDN云计算 CSDN云计算     2022-12-14     796

关键词:

作者 |  伍杏玲

出品 | CSDN

在红包和优惠券齐飞的热闹气氛下,第14个“双11”正式结束。可能大家意料不到的是,你在买单时,绿色计算为降低碳排放“买单”,打造绿色低碳的双 11。

看到这,你可能有疑问,自己在手机/网站浏览商品、下单结账,这么简单的操作,如何和绿色计算、节能减碳挂钩?

01 算力激增,绿色计算势在必行

当我们在手机浏览、选择点击时,背后海量数据正被飞快计算,消耗能源,从而产生碳排放。据工信部最新数据显示,截至 2022 年 6 月底,我国在用服务器规模近 2000 万台,位居全球第二,近五年平均增速超过 30%。算力已经成为继热力、电力之后新的关键生产力。

绿色计算是帮助海量数据在计算过程中提高效率、减少浪费、减少碳排。业界普遍认为绿色计算涵盖以下三个方面:一是采用高效节能的计算设备和配套设施,二是保证可靠性的前提下提高计算资源分配效率;三是保障低成本低能耗的新型系统与应用。

在双 11 这场“商业奥运会”中,数据流量达到巨大的峰值,如何调配资源满足计算需求,并达到高效、减排的目标,成为科技企业需考虑的难题。在“双碳”目标下,绿色低碳已成为各家企业的必答题。

蚂蚁集团持续关注绿色计算的发展,并上升为战略级计划。在 2022 年双11期间,经中环联合认证中心(CEC)测算,蚂蚁集团通过“绿色计算”技术节省 153.8 万度电,可供一盏普通节能灯使用 1 亿 5 千万个小时;减排 947 吨二氧化碳当量,约等于 79000 棵树的年碳吸存量。这是蚂蚁集团第二年大规模应用“绿色计算”技术提高双11期间算力资源利用效率,节能减排效果较去年同期增长 140%。

这背后是哪些黑科技加持助力的?蚂蚁集团绿色计算负责人、基础设施委员会主席何征宇为我们详细解剖。

02 四大绿色技术,建立开放共享绿色体系

“用更绿色的技术,为世界带来微小而美好的改变。”是的,蚂蚁集团正在践行。

何征宇表示,为了实现数字经济的高质量发展目标,科技业界需要利用数字化技术去提高发展的效率,同时不让算力造成新的问题。 “绿色计算”就是蚂蚁集团对此作出的技术探索。从 2019年启动以来,去年蚂蚁已在日常业务中全面应用“绿色计算”,服务器利用率提高近 3 倍。当前,蚂蚁正在搭建计算、存储和算法一体化的全生命周期“绿色计算”技术体系,通过聚焦基础软件技术突破,持续提高算力的利用效率。

目前业界正在探索绿色计算具体实践有硬件、软件两个方向。在硬件物理层面,降低数据中心 PUE,在算力层面,通过软件技术,合理分配计算资源。

如在阿里云五大超级数据中心里,通过自研单相浸没液冷技术,PUE 低至1.09,大幅降低数据中心散热能耗。双11期间,张北基地和南通基地清洁能源使用合计超 6000 万千瓦时,相比去年双11同时段增加一倍以上,其中绿电使用日均同比增加 30%。

而蚂蚁集团对绿色计算的探索主要在软件技术侧发力,通过在离线混合部署、AI弹性容量、云原生分时调度、绿色 AI 四大技术打造绿色计算体系:

云原生分时调度技术:跟潮汐车道调度类似,错峰编排在线和离线业务,把一份资源灵活分配给不同的任务。如早上7点大家在蚂蚁森林抢能量,临时需要非常多资源机器调度,但过了7点就不需要了,然后等到中午休息时又需要很多算力。云原生分时调度进行潮汐调度,今年落地规模较去年同期扩大10倍,有效提升了减排效果。

AI弹性容量:互联网的需求不固定,常有突发性高峰。通过 AI,结合图计算、深度学习算法,用 AI 技术做到秒级感知和扩缩容,像天气预报一样来预测容量大小,减少企业的机器数量。

在离线混合部署:在能源、金融等关键行业,对安全性、隔离性、稳定性要求高,企业将在线和离线应用拆开。蚂蚁集团应用自研 Kata 安全容器技术,做到在线业务和离线业务互不干扰。

今年蚂蚁集团进一步攻克业界难点,向数据库混部,这需要保证在业务高峰来临时,快速释放离线计算资源,同时保障业务访问稳定。蚂蚁集团对数据库推进容器化,让存储和应用的计算资源统一调度,同时结合数据库容量、调度、容器化隔离技术,做到在混部场景下安全稳定运行,混部CPU利用率70%的情况下,数据库容量降低在10%以内,有效降低了服务器浪费。

绿色 AI:绿色AI 是蚂蚁集团今年新增的技术方案。主要针对科技企业使用人工智能时普遍存在的算力浪费问题,建立了AI和大数据引擎通用的计算调度和管理系统 Cougar,并搭建绿色算法框架,对人工智能的全生命周期进行绿色优化。当前Cougar 在覆盖总计超过 80 万 CPU core规模的计算任务,带来 20%+ 算力提升。

在算法层面,建立蚂蚁 Green ML 1.0 的技术框架,涵盖绿色衡量、绿色数据、绿色训练、绿色推理与绿色应用等方向,聚焦人工智能、机器学习算法应用链路的绿色优化,重点通过在算法生命周期各阶段的优化措施来提升整体算力效能,达到节能减排的效果的同时,提升业务效果。当前在支付宝首页服务推荐场景落地后实现整体算力效能提升 150%,实际节约机器资源数约 2.4w core,每天节约电能消耗 5062 度,减少3.1吨碳排放。

同时定义一套业界全相信绿色衡量指标(PFEC),通过对 AI 算法全生命周期进行效果(P)、算力(F)、能耗(E)、碳排(C)的四维度衡量,全面定量每一个模型和每一次迭代的绿色程度。

此外,开发者熟悉的分布式数据库OceanBase 也是蚂蚁“绿色计算”技术的组成部分。通过研发支撑混合负载(HTAP)的高性能分布式计算引擎,改进LSM树降低数据存储成本,OceanBase有效降低了服务器浪费。

由以上硬核黑科技我们发现,蚂蚁集团的绿色计算发展之路,是聚焦基础软件技术突破,以建立开放共享的绿色体系。

03 携手共建绿色计算生态

当前,绿色计算生态处于初期探索阶段,单靠一两家企业是不足以生态建设,不少科技企业和机构正积极参与完善绿色技术生态。

今年,阿里、腾讯、蚂蚁、百度、京东等10家企业宣布共同组成碳中和专业委员会及开放技术联盟,首轮免费共享189项减碳相关专利技术。蚂蚁集团联合CCF(中国计算机学会)在9月发布了国内业界首支“绿色计算”主题科研基金,并在近期联合绿色计算产业联盟举办首届“绿色计算”大赛。今年4月,蚂蚁集团加入“低碳绿色承诺”,承诺将 7 件“绿色计算”相关专利无偿开放,参与编制并与绿色计算产业联盟联合发布《绿色计算产业发展白皮书》。

以数助实攻坚产业协作蚂蚁集团数字科技业务亮相云栖大会

...云栖大会公布科技业务全景图,并发布云原生、隐私计算、安全科技、区块链等六大科技产品,助力机构数字化迈向产业协作数字化的产品体系浮出水面,多年BASIC技术战略迎来商业化实践成果。 蚂蚁集团副总裁、... 查看详情

蚂蚁集团数字科技升级安全科技产品已服务国内上千家客户

11月3日,在云栖大会蚂蚁集团数字科技峰会上,蚂蚁集团宣布安全科技商业化产品升级,融合可信AI及可信数据技术创新,蚂蚁集团的安全科技产品能力实现了更智能、更可信、更协同的进步。当天,蚂蚁集团... 查看详情

蚂蚁集团数字科技六大新品发布,以数助实赋能产业数字化

...息化转型不同,如何通过通过大数据、人工智能、云计算、区块链等技术,实现“从数据中来,到实体中去”的目标,是科技公司一直在思考之事。 蚂蚁集团副总裁、数字科技事业群总裁蒋国飞表示,如今全... 查看详情

探索“科技助实”,上海交通大学蚂蚁集团等发起第三届atec科技精英赛

...英赛(ATEC2022)将于11月15日正式开放报名。具备计算机、人工智能、网络空间安全等专业背景的中国籍在校学生、行业研究者和从业者均可报名参赛,角逐百万科技奖金。科技促进产业数字化,是数字经济发展的... 查看详情

京东科技成立保险事业部,能否成为“赶超”蚂蚁集团突破口?

中国传统保险业存在着定价、获客以及产品获得感低、理赔体验差等痛点,其中保险的营销方式不受信任是制约行业健康发展的主要因素。但互联网保险却为行业带来了新机遇,在经过一段时间的监管整顿后,互联网... 查看详情

蚂蚁alluxio在蚂蚁集团大规模训练中的应用

...于引入Alluxio的背景:为什么要引入Alluxio?Alluxio到底解决了什么问题?带着这些问题,我们快速get陈老师分享的核心内容:第一部分:稳定性建设稳定性建设主要从 查看详情

蚂蚁集团mpaas与华为鲲鹏完成产品适配互认证

蚂蚁集团旗下科技产品在国产化兼容适配方面取得最新进展。近日,蚂蚁集团自主研发的“mPaaS移动开发平台V3.0”与华为鲲鹏920已完成并通过相互兼容性测试认证,并取得KUNPENGCOMPATIBLE证书及认证徽标的使用权。该认证意... 查看详情

支持十亿级密态数据低代码,蚂蚁集团发布隐语开放平台

...重要进展!蚂蚁集团高性能图数据TuGraph正式开源隐私计算+区块链原生融合之后平台开放、提升性能,蚂蚁链隐私协作平台FAIR重磅架构升级9月3日,2022世界人工智能大会(WAIC)可信隐私计算高峰论坛上࿰... 查看详情

蚂蚁alluxio在蚂蚁集团大规模训练中的应用

...:第一部分:稳定性建设稳定性建设主要从两块进行:workerregisterfollower和master迁移。【价值】可以把整个集群做FO的时间控制在30秒以内,如果再配合一些其他机制,比如client端有一些元数据缓存机制,就... 查看详情

拨开发展迷雾,将“智慧”嵌入全业务场景2022戴尔科技峰会预告

...者注意力的争夺可谓十分激烈。    不过,福建东百集团股份有限公司(以下简称“福建东百集团”)却在这激烈的竞争中表现得相当出色:公司不仅建立起企业以流量为壁垒的核心竞争力,而且成功达成了单日客流最高达124.28万... 查看详情

杭州星滔企业管理公司成立马云持股

...蚁集团主要股东及相关受益人拟对蚂蚁集团股东上层结构进行调整。其中,股权架构调整后,马云、韩歆毅、张彧、黄辰立、周芸共同持股杭州星滔企业管理咨询有限公司,后者将通过杭州君瀚股权投资合伙企业࿰... 查看详情

蚂蚁集团暂缓上市,打新的钱怎么退?

蚂蚁集团原定于11月5日在A+H股同步上市,然而昨日(11月3日)晚间,其在A股科创板和H股的联交所主板上市进程均宣告暂缓。11月2日晚间开始,原本上市只差临门一脚的蚂蚁集团开始不断刷屏,从马云等人被四部门约谈,再到本... 查看详情

蚂蚁链发布btn,有什么用?

...建底层平台,并且拥有大量C端(个人)客户和较强的云计算服务能力,这是它们相较于以趣链、布比 查看详情

蚂蚁集团sofastack:新一代分布式云paas平台,打造企业上云新体验

近几年云计算的发展如火箭般迅猛,异构变革日新月异,这是基础设施层明确的发展趋势。值得关注的是,随着基础设施的复杂度越来越高,也为整个基础设施的统一资源调度带来了极大挑战。**在越来越复杂的... 查看详情

聚焦四大领域,恒生电子发布2022年金融科技技术与应用趋势

...四大领域的核心技术与应用发展趋势,并对VR、量子计算等前沿技术对金融行业的未来影响进行展望。恒生电子执行总裁范径武表示,作为数智化赋能的重要知识成果,恒生电子基于理论研究和自身实践经验,联... 查看详情

硬核科普:到底啥是云原生?(代码片段)

本文主要根据课程什么是云原生?_哔哩哔哩_bilibili总结而来,其他参考文章如下:《云原生人才计划之Kubernetes技术图谱》发布!-知乎(zhihu.com)kubernetes-阿里云与CNCF联合推出的云原生技术公开课_哔哩哔哩_bilibili什... 查看详情

硬核科普:到底啥是云原生?(代码片段)

本文主要根据课程什么是云原生?_哔哩哔哩_bilibili总结而来,其他参考文章如下:《云原生人才计划之Kubernetes技术图谱》发布!-知乎(zhihu.com)kubernetes-阿里云与CNCF联合推出的云原生技术公开课_哔哩哔哩_bilibili什... 查看详情

带你了解一下科技类图书四大社

...电子工业出版社和人民邮电出版社。在2000年的时候,在计算机图书领域,他们占据了80%以上的市场份额。后来不断演进,各个社有了不同的发展模式:清华大学出版社形成文康、文源、金地等多家合资公司,各个公司之间是竞... 查看详情