阿里云专家带你揭秘云计算数据底座——对象存储

博文视点 博文视点     2022-12-26     632

关键词:

云计算是新一代的IT 技术,也是数字化转型的新基础设施。有了云计算平台,大数据技术才得以迅猛发展。

怎样获取、存储、处理、应用数据,是一整套方法论,也要有一整套的工具。

对象存储因云而生,是面向各种计算应用的存储资源池,提供弹性的服务化能力。

随着各行业数字化的蓬勃发展和企业数字化的转型,数据迎来爆炸式增长,2020 年全球产生的数据预估是 59ZB,2025 年预计达到 175ZB。

尽管产生了大量的数据,但只有大约 10% 的数据被存储下来,大约只有 5% 的数据被分析过,低成本、易管理、易分析的存储需求驱动了对象存储的产生和发展。

1

为什么对象存储是云计算数据存储底座呢?
云计算从本质上就涉及两件事:

一是用分布式技术替代了集中化技术,取代了原有的小型机、大型机、集中式存储、集中式数据库等,这是互联网公司崛起带来的一个显著现象。分布式技术巨大地提升了运行效率,把IT 设施更加统一化和一致化,被产品化之后就成了如今的云计算;

二是云本身也发生了很大的变化,把所有计算资源整合成计算资源池,所有存储资源整合成存储资源池,通过数据在计算资源池和存储资源池之间流动产生价值。

对象存储提供简单易扩展的名字空间,它通过RESTful 接口提供了在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力。

通过分布式存储技术的加持,跨数据中心和跨地域的容错能力,对象存储具备低成本、高可靠和易扩展的优势。对象存储在合规性、安全性、管理、生态、数据湖等领域不断发展,满足业务的需求,促进业务的创新。

随着云计算的发展,对象存储已成为事实标准的云存储。自动驾驶汽车、智能手机、平板电脑、IoT 设备等可以通过移动网络便捷的通过互联网访问对象存储,公共云、混合云的计算服务器也可以通过专有网络 VPC访问对象存储。不同网络流入的数据都能存储在对象存储相同的资源池中,从而自然而然成为云计算的数据存储底座。

2

对象存储前世今生
1956 年IBM 发布350 Disk Storage Unit,它是第一代真正意义上的磁盘存储。它的体积约为2 个中等大小的冰箱,只能存放3.75 MB 数据。2020 年的20TB 硬盘容量是第一代硬盘的560 万倍,尺寸也只有普通人手掌大小。

尽管盘的技术在飞速发展,但它无法解决单块盘出现故障带来的数据丢失问题。为此业界引入了廉价磁盘冗余阵列(RAID)技术,并逐步演化为存储区域网络(SAN),提供高可靠、高可用、高性能的块存储。

块存储只能提供线性地址空间,本身不具备数据管理能力,无法直接存放一张图片、一首音乐、一段视频,需要在它之上格式化文件系统来满足。但文件系统不擅长数据共享,从而演进到网络附加存储(NAS),服务器通过挂载指定NAS的网络IP地址访问共享文件夹,实现数据的高效共享。

网络附加存储随着保存文件的不断增多,海量文件管理成为难题,对象存储技术诞生就是为了解决该问题,它通过桶和对象的平坦模式组织数据,实现横向海量扩展。

存储始终围绕着高可靠、高可用、高扩展、易用性等需求不断演进,对象存储是存储技术不断迭代、持续发展的结果,直至演化为云计算至关重要的基础产品服务。

在阿里云对象存储负责人罗庆超老师所写的《对象存储实战指南》一书中,深入浅出地将对象存储发展历史娓娓道来。

3

这是一本怎样的书
▊ 题目前沿,现有参考资料较少

对象存储 OSS成功对接了云计算上丰富的数据分析技术生态,在它不断发展过程中支撑了大量热门领域。

为“城市大脑”提供海量图片和视频的高可靠、易扩展 7 x 24 不间断存储。

在新冠早期支撑钉钉实现1周内10倍扩容,保障钉钉 3 亿用户远程办公。

奥运会体育视频利用对象存储的智能处理、高效分发让媒体转播更有效、成本更低。

对象存储 OSS 作为公共云的IaaS服务,为PaaS和SaaS提供基础的数据存储平台,支持各种前沿创新场景,为数据湖、混合云、移动网络5G、人工智能等新领域提供数据存储基石。

▊ 从实践中来,到实践中去

本书从对象存储 OSS的业务需求出发,从客户实际痛点提炼产品特性,深入学界和高校学者合作创新的架构原理和特性实现,再将领先的技术转化为代码实现的功能规格,同行业专家、客户一起应用到实际生产,推动行业数字化发展。

通过理论设计和产品实践的螺旋上升,让对象存储 OSS 实现 12 个 9 的高可靠和99.99%的高可用能力,达到业界领先。在整个过程中,也总结了一套入门使用、数据迁移、安全合规、数据保护、应用场景最佳实践的实战指南。

▊ 架构清晰,写作流畅

本书从分布式存储基础架构入手,结合技术原理和产品实践展开讨论,并从入门和使用维度深入介绍对象存储服务 OSS 的应用实战。

全书分为三篇:

第一篇,基础与原理;

第二篇,操作和使用;

第三篇,总结与展望。

4

本书主要内容




5

你可以收获什么
▊ 掌握存储发展历史

通过块存储、文件存储、对象存储的技术演进史,了解技术发展背后的问题驱动。

▊ 理解分布式系统技术原理

深入浅出的分析分布式领域的单点技术原理,特别是存储系统最关键的数据完整性。

▊ 实战对象存储OSS配置管理

实操入门上手、数据迁移、安全合规、数据保护以及应用场景最佳实践,助你成为使用云计算对象存储服务的合格管理员。

▊ 前瞻对象存储未来发展新趋势

介绍对象存储支持的业界新趋势,了解新赛道的场景需求、技术方案。

6

听听专家怎么说
本书为阿里云内部核心技术人员所著,从分布式存储基础架构入手,结合技术原理和产品实践展开讨论,并从入门和使用维度深入介绍对象存储的应用实战。阿里云对象存储的产品验证和客户场景最佳实践,具有重大的参考意义和示范效应。

——舒继武 清华大学教授,中国计算机学会信息存储技术专业委员会主任

“稳定安全高性能、普惠智能新存储”是阿里云存储的理念,不断优化服务质量、降低使用成本、提高客户易用性,让数据存取随处可得。本书通过最佳实践介绍如何更好地配置和使用对象存储,有助于读者了解对象存储并对数字时代创新有更加深入的认识。

——张建锋(行癫) 阿里云智能总裁

阿里的对象存储从早期的TFS系统演化至今,经受了大规模业务的考验,已经是世界上较为成熟的产品之一。本书介绍的对象存储基于盘古存储引擎实现,后者和存储产品结合已进行研发演进。

——蒋江伟(小邪) 阿里云高级研究员

本书结合阿里云十几年在分布式存储领域和对象存储领域的研发实践,理论结合实践阐述了对象存储领域的关键技术,深入地分析和总结了阿里云存储的实践和创新。

——吴结生 阿里云高级研究员

我对本书的评价是两个字:严谨,本书兼具教科书的架构感和工具书的实用性。本书给大家展示的是数千PB 数据下的大规模实践。

——陈绪 阿里云技术战略总监

7

作者简介

罗庆超
阿里巴巴资深技术专家,阿里云对象存储负责人,在企业存储和云存储领域有丰富的技术与产品经验。

曾就职于世界500强以及知名跨国公司的存储团队,负责过高端存储阵列的数据路径架构设计和开发,作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现,同时在灾备以及数据管理领域亦有多年开发和运维经验。

带领技术研发团队,多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统架构专业,并获得硕士学位,在相关技术研究领域,支持并参与多本行业专业书籍的编写工作,被授予包括块存储、文件存储、对象存储、数据湖等方向的20多项发明专利,技术成果成功应用到产品创新迭代。

如果想要更多地了解对象存储的历史由来、技术细节、实战操作和未来展望,欢迎阅读《对象存储实战指南》一书。

前沿分享|阿里云数据库资深技术专家姚奕玮:analyticdbmysql离在线一体化技术揭秘

...-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,阿里云数据库资深技术专家姚奕玮关于“AnalyticDBMySQL离在线一体化技术揭秘”的分享。更多前沿分享,点击云栖大会视频回放链接即可获取。本篇内容将通过三个部分来... 查看详情

阿里云文件存储的高性能架构演进之路

...术论坛,一起探讨解决数据中心所面临的挑战。论坛上,阿里云分布式存储团队高级技术专家田磊磊进行了《阿里云文件存储的高性能架构演进之路》的报告。10月27日下午,2018中国计算机大会上举办了主题“数据中心计算”的... 查看详情

前沿分享|阿里云数据库资深技术专家姚奕玮:analyticdbmysql离在线一体化技术揭秘

...-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,阿里云数据库资深技术专家姚奕玮关于“AnalyticDBMySQL离在线一体化技术揭秘”的分享。本篇内容将通过三个部分来介绍AnalyticDBMySQL离在线一体化技术。一、传统大数据架构... 查看详情

cds技术揭秘系列总篇阿里云的云定义存储来了

...储阵列、分布式存储、软件定义存储的区别在哪里?阿里云存储团队如何看待将来存储的发展趋势?本文邀请了CDS研发团队的核心技术负责人为大家揭开围绕着阿里云CDS的种种谜团。云定义存储(CDS:CloudDefinedStorage... 查看详情

实地走访阿里云张北数据中心,揭秘“零碳”野心

...数据中心的步伐加快。作为国内最大的云计算厂商,阿里云从2010年开始& 查看详情

华为云数据库内核专家为您揭秘:gaussdb(formysql)并行查询有多快?

...sDB(forMySQL)并行查询为何快人一步?华为云数据库内核专家这样说本文分享自华为云社区《华为云数据库内核专家为您揭秘:GaussDB(forMySQL)并行查询有多快?》,原文作者:饶珑辉华为云数据库内核专家。近期&#... 查看详情

阿里云emr2.0:定义下一代云原生智能数据湖

摘要:本文整理自阿里云高级技术专家/数据湖存储负责人郑锴(铁杰);阿里云高级技术专家/开源大数据OLAP负责人范振(辰繁)在阿里云EMR2.0线上发布会的分享。本篇内容主要介绍了阿里云云原生数据湖分析解决方案的三个... 查看详情

2019.03.30云计算和大数据时代网络技术揭秘

...大数据  时代来源《云计算和大数据时代网络技术揭秘》第一章云计算的兴起云计算的本质是一种服务提供模型,通过这种模型可以随时,随地,按需地通过网络访问共享资源池的资源,这个资源池的内容包括计算资源,... 查看详情

云原生底座之上,这些企业领跑行业的秘密

...技术武装到牙齿,而是把技术融入企业的基因。云原生是阿里云的DNA,相信在阿里云云原生的助推下,越来越多的企业将实现业务“生于云,长于云”,全面迈向数字化新阶段。更多行业案例,点击《云原生架构:容器&微服... 查看详情

前沿分享|阿里云数据库高级技术专家宋利兵:阿里云企业级自治数据库rds详解

...2021云栖大会-企业级云原生数据库最佳实践论坛中,阿里云数据库高级技术专家宋利兵关于“阿里云企业级自治数据库RDS详解”的分享。本文将从2方面为大家介绍企业级的自治的数据库系统。RDSMySQL 产品RDSMySQL 自研内核一... 查看详情

阿里p8架构专家带你透析分布式架构

什么是分布式系统分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更... 查看详情

前沿分享|阿里云数据库解决方案资深专家李圣陶:云原生数据库解决方案加速企业国产化升级

...2021云栖大会-企业级云原生数据库最佳实践论坛中,阿里云数据库解决方案资深专家李圣陶关于“云原生数据库解决方案加速企业国产化升级”的分享。本文从几大视角来解读云原生数据库如何加速企业的国产化升级。一、... 查看详情

阿里云技术专家杨泽强:弹性计算云上可观测能力构建

可观测性的发展趋势为标准化与多样化可观测性的发展趋势为标准化与多样化 查看详情

阿里数据中台底座的12年建设实践

...台建设将走向何方?数据资产到底该如何管理?阿里巴巴的中台建设之路应该能为金融机构带来借鉴。日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛对阿里巴巴如何... 查看详情

阿里数据中台底座的12年建设实践

...台建设将走向何方?数据资产到底该如何管理?阿里巴巴的中台建设之路应该能为金融机构带来借鉴。日前,在阿里云举办的2021阿里云金融数据智能峰会上,阿里云智能计算平台事业部研究员关涛对阿里巴巴如何... 查看详情

阿里云是干啥用的

参考技术A阿里云的简介阿里云是阿里巴巴集团旗下的公司,其主要的业务是为企业、政府等组织机构,提供最安全、可靠的计算和数据处理能力。阿里云的产品阿里云的产品有很多,比如:弹性计算的云服务器ECS、块存储;数... 查看详情

云湖共生-释放企业数据价值

摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能资深技术专家、对象存储OSS负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0进化亮点等方面分享... 查看详情

精辟:一篇文章带你看懂数据储存!

...言:日益火热的云服务小米组织架构调整上了热搜,如同阿里巴巴、华为和腾讯一样,小米组织架构调整中也将云平台单独成为一个部门。自2018年以来,各大企业调整组织架构的动作中,其实可以窥见大企业对云平台的重视程... 查看详情