16年云存储历程,亚马逊云科技如何应对数据存储挑战

CSDN资讯 CSDN资讯     2023-03-16     241

关键词:

随着千行万业的数字化转型,数据量暴涨,数据获得了空前的关注度。作为存储计算网络的三大 IT 基础设施之一,数据存储一直占据 IT 支出的重要部分。不过,在疫情和经济下行的趋势与压力之下,如何通过创新的 IT 技术去降本增效,成为企业与技术团队必须要面对的问题。

提到灵活的云上资源与存储,业界必然会想到亚马逊云科技的王牌级存储产品 Amazon S3。从 2006 年推出 S3 到现在的 16 年间,亚马逊云科技一直在存储技术上投入研发,比如仅 2021 一年,就发布了 130 多项存储领域的新服务和功能特性。亚马逊云科技对于存储成本和性能的优化,为业界提供了重要的参考范本。

连续 16 年,让存储成本持续下降,怎么做到?

在存储技术上,想要提升数据存储和调用性能,降低存储介质成本,通常利用各类存储介质特点,依据数据重要级去分级存储,这一直是存储技术中重要的一项。亚马逊云科技的王牌存储产品 Amazon S3 在 16 年间价格降低 7 倍(以 S3 标准频繁访问层 Amazon S3 Standard Frequent Access 为例),2021 年底,Amazon S3 的标准非频繁访问层和单区非频繁访问层的存储价格又降低了 31%!

压缩存储成本空间的底气,是亚马逊云科技分层存储技术背后的设计逻辑。

数据量爆发,庞杂的数据其实可细分为各种类型,例如实时交易平台数据、业务监控数据、机器学习推理所涉及数据,以及社交媒体产生数据、音视频与图像数据,另外还要容灾备份、开发测试数据以及历史归档数据等等。亚马逊云科技为这些数据定义了“数据的温度”,依据数据调用的频率,分为热数据、温数据、冷数据和冻数据。

图:海量数据和多种数据访问需求


2018 年亚马逊云科技就推出了 Amazon S3 智能分层功能,面向未知访问模式的海量数据。Amazon S3 可以自动为数据进行冷热分层,实现至多 68%的成本节省。

另外,亚马逊云科技数据分层存储已经拓展到文件存储 Amazon EFS。Amazon EFS 提供四种存储等级,可节省高达 72%的存储成本。

现在,Amazon S3 智能分层已经涵盖了 Amazon S3 家族的几乎所有存储类别,实现数据全生命周期的智能化存储与使用。用户可以将 Amazon S3 智能分层作为默认的存储层级,用以构建包括数据湖、机器学习等各种云端应用。

存储走向场景细分,亚马逊云科技积累存储全线产品

说到存储的应用场景,数字化深入各行业,也催生了多种多样的业务场景。依据云计算的发展进程,我们可以将业务场景分为云上原生的场景,以及传统的企业业务场景。

如网站托管、数据湖、数字营销、云相册、音视频分享、电商平台、社交媒体等应用,这些云原生现代化应用,客户可以使用云原生 Serverless 文件存储 Amazon EFS,获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。

另外,例如 ERP/CRM、数据库、自动驾驶、生命科学、混合云、模拟仿真、气象分析、EDA、视频渲染等更为复杂多样化的企业级应用,亚马逊云科技提出“专门构建”的思路去提供云端存储产品和服务。


针对企业级工作负载,亚马逊云科技提供了 Amazon EBS IO2 BX 和 Amazon FSx 系列服务。Amazon EBS IO2 BX 是为运行在线下数据中心 SAN 存储上的应用而设计。Amazon FSx 家族是为各类企业应用而专门构建的共享文件存储。FsX = File X System,详细来说,Amazon FSx 家族已经有以下多个存储产品:

  • Amazon FSx for Windows File Server,2018 年 11 月推出,支持 Windows Server 工作负载。

  • 全新一代 Amazon FSx for Lustre,2021 年 11 月发布,面向 HPC 计算密集型工作负载,帮助客户快速完成高性能计算,如基因测序,新药研发,自动驾驶模拟仿真,半导体设计等任务。

(1)Amazon FSx for Lustre 与当前一代相比,提供 5 倍的吞吐量(每 TB 高达 1GB/秒)。

(2)Amazon FSx for Lustre 支持与 S3 的数据更新双向同步,在 S3 或 Lustre 任一侧更新数据,都可以在另外一侧实现自动快速同步。

  • Amazon FSx for OpenZFS,2021 年 11 月发布,面向大数据分析 Linux 工作负载。针对那些以往把数据放在 ZFS 或者其它 Linux 文件服务器、而不希望改变架构的云迁移客户。通过它,可以让 ZFS 或其他基于 Linux 的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式,提供高达 1 百万 IOPS,而延迟仅有几百微秒,非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。

  • Amazon FSx for NetApp ONTAP,2021 年 9 月发布,方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的 NetApp ONTAP 文件存储服务,无需修改其应用、工具、流程或工作流,即可将其在 NAS 设备上运行的应用迁移至亚马逊云科技。Amazon FSx for NetApp ONTAP 让客户可使用其已经熟悉的 NAS 工作流来部署、管理应用和数据,同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性,以及与亚马逊云科技其它服务之间的无缝集成。

通过对场景的细分与对应存储需求的研究,亚马逊云科技已经覆盖了从块存储、对象存储,到文件存储、备份、容灾,以及数据传输和边缘处理的全线存储产品和服务,堪称云巨头亚马逊云科技在存储技术领域的“全家桶”式产品矩阵。


强大产品矩阵,覆盖场景全面,不是一句简单的宣传口号。举个例子,亚马逊云科技存储产品“全家桶”所覆盖的场景,甚至已经拓展到了地球以外的国际空间站中。今年亚马逊云科技已经向国际空间站部署了Amazon Snowcone服务,设备内含有 固态硬盘,为国际空间站端到端的数据下载和分析事件从 20 小时缩短到 20 分钟。

这应该算是极端的一种边缘场景了,毕竟和地球上的场景比起来,国际空间站的边缘场景中,硬件要尽一切可能轻,经受发射时极端震动和重力,以及在微重力下安全连接主航天器电力、冷却和网络系统。

图:在国际空间站“服役”的 Amazon Snowcone

从存储技术层面看,这款 Amazon Snowcone 是专为运行边缘计算工作负载而设计,所有工作负载均受多层加密保护。在本地收集和处理数据后,通常会将设备运回亚马逊云科技数据中心,以便处理后的数据可以存储在云中并进一步处理。或者,也可以使用 Amazon DataSync 将数据从 Snowcone 设备复制回亚马逊云科技数据中心。

除了极端的边缘场景,以能源电力场景下的金风慧能案例为例。

总结

每一代科学技术迭代和变革的背后,都是因为技术切实提升人们生产生活效率,这也是 IT 吞噬一切,并重塑千行万业的终极价值。在不确定因素和多变的市场环境中,如何持续降低成本、提升效率,是每一位技术人都该去思考的问题。在技术实践和积累中,亚马逊云科技在存储领域的产品构建思路,给业界提供了很好的参考样本,值得参考和借鉴。

当然,亚马逊云科技丰富的存储产品和服务矩阵,以及最佳实践、应用案例,还有很多很多。2022年9月22日-23日,亚马逊云科技将在上海举办重要的技术盛会——2022亚马逊云科技中国峰会。点击或扫描图中二维码获取更多大会信息,更多的技术创新,等你来发现。

六大挑战下,如何利用云原生数据战略打造数据驱动型企业?

在刚刚落幕的2022亚马逊云科技中国峰会上,亚马逊云科技大中华区战略业务发展部总经理顾凡带来《亚马逊云科技成为探路者,成就探路者》主题演讲,总结了数据驱动型企业面临的六大挑战,并提供了解决思路... 查看详情

互联网大数据时代下亚马逊是如何解决数据存储的(代码片段)

...联网时代的背景下,新的电商平台层出不穷。一提到亚马逊平台相信大家都不陌生,从虚拟到实体,从一开始的网络书店,发展到互联网行业的佼佼者。亚马逊和亚马逊云科技践行可持续发展模式,为无数的... 查看详情

亚马逊云科技的ai新引擎,如何助力企业应对“乌卡时代”?

文|智能相对论作者|沈浪“乌卡(VUCA)时代”一词在今年的经济峰会或产业峰会上被越来越频繁的提及。作为一种全球性的时代语境,这个概念精准地概括了当今世界的时代特征,即易变性(Volatility)、... 查看详情

互联网时代云平台百花齐放,亚马逊云科技独树一帜

互联网时代云平台百花齐放,亚马逊云科技独树一帜。前言上云背景促进云平台发展各云平台百花齐放时代亚马逊云科技的发展历程亚马逊云科技市场调研亚马逊云科技的闪光点超低延迟数据处理数据安全总结前言最近几年&... 查看详情

初识hadoop,轻松应对海量数据存储与分析所带来的挑战

...计算三、HDFS(分布式文件系统)3.1hdfs架构3.2hdfs存储四、MapReduce(分布式计算框架)4.1Map+Reduce4.2MapReduce架构4.3MapRedu 查看详情

杉岩数据2020年分布式存储技术研讨会顺利举办

...大对数字政府的信息基础设施建设投入过程中,优化信息存储与信息使用安全环境,为数据的采集、存储、开发和利用提供可靠的数据源,将有利于政府提升决策能力、管理能力和服务能力。2020年1月2日,杉岩数据在深圳总部举办了... 查看详情

2021亚马逊云科技中国峰会,对话《容器混合云会是未来的答案吗》

目录文章目录目录前言Q&AQ1:容器混合云为什么会出现?其能够为开发者解决的核心问题是哪些?Q2:容器混合云目前在部署的过程中面临哪些挑战?其未来的核心发展路径是怎样的?Q3:容器集群的控制也是一个比较麻烦的... 查看详情

科技向“实”万物生长,2023年云计算五大技术趋势展望

...念的正式诞生。而真正让无服务器得到广泛关注的事件是亚马逊云科技于2014年推出AmazonLambda服务 查看详情

亚马逊云科技2022re:invent的几个关键词:数据云原生端到端安全

...是一年。2022年云计算行业重要的技术趋势和方向里,亚马逊云科技一年一度的re:Invent大会是不可或缺的一环。今年已经是re:Invent大会连续举办的第十一年,和往年一样,亚马逊云科技将一年的重磅技术观察和实践干... 查看详情

亚马逊云科技助力企业创新,ai新引擎为何成为关键?

摘要:亚马逊云科技强力推出AI新引擎!帮助企业积极应对“乌卡时代”的种种挑战。“乌卡(VUCA)时代”一词在今年的经济峰会或产业峰会上被越来越频繁的提及。作为一种全球性的时代语境,这个概念精... 查看详情

强强联合,bytehouse携手亚马逊云科技,新一代云数仓服务重磅升级

... 为帮助客户更好地解决这些问题,字节跳动ByteHouse与亚马逊云科技携手打造新一代云数仓服务,为中企出海业务保驾护航。 ByteHouse是字节跳动旗下的一款云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分... 查看详情

区块链分布式云存储项目盘点

...作恶者的目标,本质上是脆弱的。例如,今年早些时候,亚马逊S3员工的人为错误导致几 查看详情

数据库如何转身云原生数据库

...xff0c;解决数据运维工作的数据库服务。项目使用前期调研亚马逊云科技提供了100余种产品免费套餐。其中,计算资源Amazon 查看详情

云原生大趋势下的容器化技术现状与发展

...针对容器化技术的发展现状和趋势展开讨论,最后以亚马逊非关系型云数据库DynamoDB为例介绍云原生应用程序服务实例。另外,亚马逊云科技提供了100余种产品免费套餐。其中,计算资源AmazonEC2首年12个月免费,750... 查看详情

亚马逊云科技最新赛事思路拓展|如何实现超大尺寸图像快速识别?

近期开赛的亚马逊云科技【AIForGood-2022遥感光学影像目标检测挑战赛】中,动辄超过10000x10000的卫星遥感图像让许多选手感到头疼。同时遥感影像中目标尺寸差别大、角度各异也导致常见的CV框架难以实现快速精准的目标识别... 查看详情

什么是数据中心?

...分。在美国,超级数据中心的发展主要归功于科技巨头:亚马逊、谷歌和Facebook。什么是数据中心?您有没有想过云托管解决方案是如何工作的?数据存储在此类安装中。数据中心的技术设备由服务器、路由器和存储设备组成。... 查看详情

pingcapx亚马逊云科技,为tidb云端体验“加冕”

2021年9月,TiDB登陆亚马逊云科技Marketplace(中国区),为数据库用户和PingCAP自身带来了多方面的成效。为了帮助更多的数据库用户从云原生的架构中获益,PingCAP决定与亚马逊云科技合作,并由亚马逊云科... 查看详情

emq走进亚马逊云科技:携手云端,共筑「面向未来」的iot基础设施底座

...础设施软件供应商EMQ映云科技(以下简称EMQ)荣幸受邀走进亚马逊云科技北京办公室。双方携手云端,共同探讨数字化浪潮之下如何多维度助力企业构建真正坚实的万物互联基础设施基座。EMQ与亚马逊云科技多年来凭借着强大的底层... 查看详情