re:invent大会第十年,亚马逊云科技推出了哪些底层自研技术

CSDN云计算 CSDN云计算     2023-02-26     396

关键词:

 

编辑 | 宋慧

出品 | CSDN云计算

头图 | 付费下载于视觉中国

一转眼, 亚马逊云科技的云计算已经推出了十五年,亚马逊云科技的年度大会 re:Invent 也举办到了第十年。

今年 re:Invent全球 大会上,亚马逊云科技继续向前,发布系列重磅的自研计算存储底层技术、将云服务拓展至太空数据服务、用 AI 机器学习驱动数据分析与应用、用 API 低代码去降低云计算门槛、低碳等等。从全球云计算巨头的举措,我们能窥见,云在走向全面而融合的趋势。

自研第三颗 CPU Graviton 3、固态硬盘 Nitro,投身挖掘硬件性能技术前沿

现在,国内外云计算、互联网巨头,都在重点投入底层基础设施的硬件技术研发。今年 re:Invent 大会上,亚马逊云科技就发布了新一代基于 Arm 的自研 CPU 处理器 Amazon Graviton3,这已经是亚马逊云科技自研设计的第三颗 CPU 处理器。由 Amazon Graviton3 处理器支持的 C7g 实例与由 Graviton2 处理器支持的当前一代 C6g 实例相比,可将计算密集型工作负载性能提高多达 25%。Amazon Graviton3 处理器与 Graviton2 相比,为科学计算、机器学习和媒体编码工作负载提供高达 2 倍的浮点运算性能,为加密工作负载速度提升高达 2 倍,为机器学习工作负载提供高达 3 倍的性能。

亚马逊云科技还发布了采用全新 Amazon Nitro SSD 固态硬盘的 Im4gn/Is4gen/ I4i 实例,可为 I/O 密集型工作负载提供超高存储性能。通过自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i 实例提供高达 30 TB 的 NVMe 存储,与上一代 I3 实例相比,I/O 延迟降低了 60%,延迟可变性降低了 75%,从而最大限度地提高了应用程序性能。Amazon Nitro SSD 通过优化存储堆栈、虚拟化管理程序和硬件与 Amazon Nitro 系统紧密集成。与使用商用 SSD 相比,亚马逊云科技同时管理 Amazon Nitro SSDs 的硬件和固件,使 SSD 更新交付速度更快,让客户可以从改进的功能中获益。Im4gn 实例(现已可用)采用 Amazon Graviton2 处理器,与 I3 实例相比,性价比提高多达 40%,每 TB 存储成本降低多达 44%。Is4gen 实例(现已可用)也采用 Amazon Graviton2 处理器,与 I3en 实例相比,每 TB 存储成本降低多达 15%,计算性能提高多达 48%。

另外,去年 re:Invent 亚马逊云科技宣布研制机器学习训练芯片 Amazon Trainium,在今年的 re:Invent 上也发布了基于 Trainium 的实例。由 Amazon Trainium 芯片支持的 Trn1 实例为在 Amazon EC2 中进行深度学习模型训练提供最佳性价比以及最快的训练速度,与 P4d 实例相比,通过 Trn1 实例训练深度学习模型的成本降低多达 40%。Trn1 实例提供 800Gbps EFA 网络带宽(比最新基于 GPU 的 EC2 实例高两倍),并与 Amazon FSx for Lustre 高性能存储集成,让客户可以启动具有 EC2 UltraClusters 功能的 Trn1 实例。通过 EC2 UltraClusters,开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器,让客户按需访问超算级性能,即便是最大型和最复杂的模型,训练时间也可以从几个月缩短到几天。

云的服务还能用在哪里?到太空去

其实不仅亚马逊云科技,其他国内外的云巨头也都在与各类太空卫星研究机构、服务商展开合作,将云服务拓展到太空领域。Amazon Ground Station 就是亚马逊云科技的卫星地面站服务,通过卫星地面站接收数据到亚马逊云科技区域进行处理。接着,Amazon Outposts 将亚马逊云科技的云体验延伸到客户的本地数据中心,与云端无缝连接。IoT 服务、Snowball 家族将云的能力延伸到地球上各个角落。 

另外亚马逊云科技推出新的托管服务 Amazon  Private 5G,则是让企业方便利用 5G 专网来连接企业内的联网传感器和边缘设备,并且通过亚马逊云科技控制台统一管理。

亚马逊云科技还发布了新服务 Amazon Cloud WAN,将亚马逊云科技全球网络的优势带给企业,让企业的广域网跟云融为一体。Amazon Cloud WAN 让企业可以在全球的亚马逊云科技广域网络上建立、管理统一的云网络和监控全球流量。所有的远程用户和站点以及数据中心将使用 虚拟专网 或直接连接到地理位置最近的地方,实际上在几分钟内亚马逊云科技就可以构建一个全球化网络服务。

回到云的基础设施实力,亚马逊云科技基础设施遍及 25 个地理区域的 81 个可用区,并计划新建 9 个区域和 27 个可用区,有 14 个本地扩展区域、17 个 Wavelength 区域,有 108 个 Direct Connect 光纤直连站点,有 310 个边缘站点和 13 个区域缓存站点。在此基础上,亚马逊云科技宣布,2022 年将在 21 个国家建设超过 30 个本地扩展区,让客户以更低的延迟服务其终端用户。亚马逊云科技 2020 年开始在美国建立了两个本地扩展区,2021 年增加了 12 个本地扩展区。2022 年,建立本地扩展区的步伐将进一步加大。

用机器学习,驱动云上海量非结构化数据的应用与创新

在 re:Invent 全球大会上,亚马逊机器学习副总裁 Swami Sivasubramanian 的主题演讲以《如何通过数据与人工智能进行创新》为题。Swami 指出,“数据是推动洞察的潜在力量,有助于更好地开展业务。”他列举了飞利浦医疗、纳斯达克等多种大数据的例子,”从大数据走向海量非结构化数据,事实上 80%的数据是非结构化的。”

在丰富的数据服务组合之上,今年大会上亚马逊云科技又发布多个数据工具:
Amazon DevOps Guru for RDS 是一个数据库性能工具,它利用机器学习,可以在几分钟内自动检测、诊断和解决难以发现的数据库性能问题。
Amazon RDS Custom 提供了 SQL Server 支持,它通过托管式服务节省时间,帮助实现自动化版本维护与补丁升级,将宝贵的资源专注于更重要的业务。
Amazon Dynamodb 的新功能 Standard-Infrequent Access 表类,它可以将不频繁访问的表数据进行分类,DynamoDB 的存储成本降低 60%。
Amazon Database Migration Service Fleet Advisor 是一个数据库迁移工具,它可以帮助客户选择最佳可用的计算实例和配置,用以部署机器学习模型,获得最佳的推理性能和成本,并且将过去数周才能完成的工作缩短到数小时。

本次 re:Invent,亚马逊云科技机器学习平台 Amazon SageMaker 又添六项新功能。
亚马逊云科技新推出的 Amazon SageMaker Ground Truth Plus,让用户无需编写任何代码即可快速交付高质量的训练数据集。数据是机器学习的燃料。不过,准备数据的过程令人沮丧甚至令人愤怒。有了这项新功能,极大地解决了数据科学家准备数据的痛点问题。
在模型构建与算法编写环节,新推出的 Amazon SageMaker Studio Notebook 允许用户访问广泛的数据源,在一个记事本中执行数据工程、分析和机器学习工作流。
新推出的 Training Compiler 模型训练编译器,让机器学习模型培训速度提高 50%。Inference Recommender 模型推理推荐程序,可将部署时间从数周减少到数小时。Serverless Inference 无服务器推理,通过按使用付费的定价降低拥有成本。

API、低代码,降低云计算使用者开发门槛

其实亚马逊云科技的每一个云服务,从第一天诞生起,API 就无处不在,例如计算服务 Amazon EC2 是 API,存储的 Amazon S3 也是 API,再比如创建网络拓扑、创建数据库资源、起停关这些操作,都是通过 API 来实现的。

为了帮助客户最大限度实现数据价值,亚马逊云科技千方百计降低数据使用的门槛。无论是开发人员、运维人员、数据科学家、行业用户,还是即将进入云计算行业的初学者,亚马逊云科技都在不断推出新的服务和功能,降低他们的使用门槛。

对于微服务化应用的开发者,Amazon App Runner 将底层使用 Fargate、ALB 和 Route 53 等服务能力封装,让开发者更容易去部署。通过 App Runner,开发者可以快速、大规模实现通过代码或者容器镜像的方式,部署一套线上可用、可轻松扩展的应用。

Amplify 是亚马逊云科技针对 Java 等前端框架的开发人员的全栈开发需求,将 亚马逊云科技底层能力,如调用云原生数据存储 Amazon DynamoDB 以及身份认证服务 Amazon  Cognito 等封装,降低了对于后端服务逻辑没有开发概念或者没有相应技能的前端人员,通过前端技术去开发整个后端服务。另外亚马逊云科技还最新推出了 Amazon Amplify Studio,让前端开发人员以低代码的方式,在手机端、web 端实现端到端的,包括 UI、包括后端业务逻辑创建的能力。

为了让运营人员更加轻松,亚马逊云科技今年带来了 RDS 的 DevOps Guru,以及四个无服务器的分析服务、Amazon Redshift ML、Amazon Canvas、Amazon QuickSight Q 等等,让业务人员更加轻松,不用求人就可以自己做数据分析,甚至做机器学习。亚马逊云科技还针对特定的行业,如制造业、汽车行业分别推出了数字孪生、Amazon IoT TwinMaker 以及为车联网数据更好传输的 Amazon IoT FleetWise。

除了多项技术开发与云服务的技术,在低碳环保方面,为了应对气候危机,由亚马逊和 Global Optimism 共同发起了《气候宣言》,呼吁签约各机构采取紧急行动,在 2040 年前实现净零碳排放,提前十年达成《巴黎协定》目标。亚马逊以身作则,承诺到 2030 年 100% 使用可再生能源为公司运营提供动力。大会上,亚马逊将计划再次提速,希望到 2025 年实现这一目标。

从今年的 re:Invent 大会,我们能看到,云上的一切,亚马逊云科技都在有条不紊的推进。云上已经全面融合了数据、AI 等应用与创新的事务,而云计算巨头也在承担更多社会责任。所有这些之上,技术也将更加稳步向前,值得期待。

十年探索,云上明灯,re:invent再启掀产业风暴

...活度低,对于企业的创新与发展有着很大的伤害。当亚马逊推出全球第一个云计算服务简单存储 AmazonS3时,可能没有太多人相信,这些内容将会开启一个新世界的大门,也会为互联网的发展注入无与伦比的动能。... 查看详情

亚马逊云科技re:invent:serverless成技术新常态

2019年底,亚马逊云科技发布了AmazonLambda的“预置并发(ProvisionedConcurrency)”功能,它允许亚马逊云科技无服务器计算用户使其函数保持“已初始化并准备好在两位数毫秒内响应”的状态,这意味着“冷启动”... 查看详情

搞机器学习还敲什么代码

不写代码也能搞机器学习?!这是亚马逊云科技在最近亚马逊云科技re:Invent大会上公布的新工具,用于实现无代码可视化机器学习。亚马逊云科技re:Invent大会可谓是云计算行业的“春晚”,IT技术领域风向标级活... 查看详情

搞机器学习还敲什么代码

不写代码也能搞机器学习?!这是亚马逊云科技在最近亚马逊云科技re:Invent大会上公布的新工具,用于实现无代码可视化机器学习。亚马逊云科技re:Invent大会可谓是云计算行业的“春晚”,IT技术领域风向标级活... 查看详情

380万播放量,也许是全网最火的机器学习视频

不写代码也能搞机器学习?!这是亚马逊云科技在最近亚马逊云科技re:Invent大会上公布的新工具,用于实现无代码可视化机器学习。亚马逊云科技re:Invent大会可谓是云计算行业的“春晚”,IT技术领域风向标级活... 查看详情

不敲代码就能搞机器学习?亚马逊云科技这回放了个大招

...道|公众号QbitAI不写代码也能搞机器学习?!这是亚马逊云科技在最近亚马逊云科技re:Invent大会上公布的新工具,用于实现无代码可视化机器学习。亚马逊云科技re:Invent大会可谓是云计算行业的“春晚”,IT技术领... 查看详情

想要在云上开展业务创新?那你得先做好云上安全合规

说起亚马逊云科技一年一度的re:Invent全球大会,相信IT行业的小伙伴们个个都耳熟能详。不过从2019年开始,另一场名字与其极其相似的re:Inforce全球云安全大会,也在全球安全领域声名鹊起。近日,亚马逊云科技202... 查看详情

科技云报道:从re:invent2022读懂亚马逊云科技的“生态棋局”

科技云报道原创。懂棋的人都知道,下棋靠的是智力的角逐,也是气度的较量。到了云计算发展的新时期,下棋的“人”已经变了,单靠一个人的智力解决不了N个用户的N种问题。因此,近年来头部云厂商纷纷... 查看详情

科技云报道:从re:invent2022读懂亚马逊云科技的“生态棋局”

科技云报道原创。懂棋的人都知道,下棋靠的是智力的角逐,也是气度的较量。到了云计算发展的新时期,下棋的“人”已经变了,单靠一个人的智力解决不了N个用户的N种问题。因此,近年来头部云厂商纷纷... 查看详情

揭秘云原生数据战略三大要素

2022亚马逊云科技re:Invent全球大会中,亚马逊云科技数据与机器学习副总裁SwamiSivasubramanian博士发表了“数据与机器学习如何助力企业构建端到端的数据战略”的主题演讲。《新程序员001-004》全面上市,对话世界级大师... 查看详情

做个务实创新的少年,亚马逊云科技如何开启下一个十五年?

...,十五年的时间足以发展成为行业巨头。2006年,亚马逊发布全球第一个云计算服务AmazonS3,云计算的商业化时代由此拉开序幕,引发了IT基础设施向按需分配、按需付费的模式转变,直到发展成为今天全球都离... 查看详情

亚马逊云科技十年领跑,为云而生的硬件创新进入加速期,普惠百万用户

自2013年亚马逊云科技推出首颗Nitro芯片,2015年以3.5亿美元收购芯片制造商AnnapurnaLabs起,再到2018年发布第一代云原生通用处理器Graviton,2020年推出第一代自研推理芯片Inferentia和训练芯片Trainium,到现在亚马逊云科... 查看详情

对于系统架构来说,要么进化,要么死亡

在亚马逊云科技年度re:Invent,亚马逊首席技术官Dr.WernerVogels的主题演讲历来涵盖大量科学和技术领域,今年的演讲也不例外,座无虚席。现在,亚马逊云科技2022re:Invent中国区recap正式也开始了,欢迎大家积极... 查看详情

亚马逊独霸美国安云计算未来十年订单;英伟达推出首个元宇宙平台;华为云天翼云会合并吗?...

NEWS本周新闻回顾亚马逊独霸美国安云计算未来十年订单,微软表示不服亚马逊AWS获得美国国家安全局100亿美元云计算合同。得知亚马逊拿下订单后,微软已向政府问责提交文件,提出抗议。最终……还是亚马逊笑到... 查看详情

大会倒计时|亚马逊云科技创新大会邀您一起构建ai新引擎!

...、昂贵的机器学习开发成本也在阻碍着企业的未来创新。亚马逊创始人杰夫·贝佐斯说过,创新有多种形式和各种规模,最激进和最具变革的创新是帮助他人释放 查看详情

从amazongraviton3发布,看2022云计算的核心方向

2021亚马逊云科技re:Invent结束了,在数十项发布里,哪个产品最为重要,对云计算行业影响最大?可能会有不少人把票投给AmazonGraviton3。这不仅因为“自研芯片”这个概念在当下成为了“硬核实力”的象征、大众喜... 查看详情

从“智能湖仓”升级看数据平台架构未来方向

...仓库的设计,有效满足现代化应用的数据架构要求。亚马逊云科技作为行业头部云厂商,也推出了与数据湖、数据仓库融合相关的“智能湖仓”。为什么“智能湖仓”可以更智能地集成数据湖、数据仓库和其他数据处理... 查看详情

从“智能湖仓”升级看数据平台架构未来方向

...仓库的设计,有效满足现代化应用的数据架构要求。亚马逊云科技作为行业头部云厂商,也推出了与数据湖、数据仓库融合相关的“智能湖仓”。为什么“智能湖仓”可以更智能地集成数据湖、数据仓库和其他数据处理... 查看详情