存储是怎样炼成的?

jixin jixin     2022-12-24     358

关键词:

什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。

不知道各位大佬对上面的名词了解多少,通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统,DAS,SAN,NAS,OSD是一种存储模型。稍微科普一下:

FAT,NTFS大家肯定比较熟悉,这个就是单机文件系统,类似的还有EXT4等等。windows系统就是NTFS,Linux是EXT4居多。

NFS(Network File System)即网络文件系统,它允许网络中的计算机之间通过TCP/IP网络共享资源。使计算机可以像操作单机文件系统一样操作网络中的资源。

DAS(Direct-Attached Storage)直连式存储,是一种常用的存储模型。比如我们常用的移动硬盘,U盘就是直连式存储。它有非常大的弊端,不易扩容,性能低,不可靠等。

SAN(Storage Area Network)存储区域网络,它其实是建立专用于存储的区域网络,以达到存储和主机的物理分离。主要面向企业级存储,从理论上讲其易扩容可以支撑海量的数据存储,但是需要建立专用的光纤网络,成本较高。

NAS(Network Attached Storage)网络附加存储,可以简单理解为便捷的局域网存储装置,在linux系统中可以通过NFS协议挂载NAS存储。NAS相对于SAN拥有自己的操作系统,可以与各个系统更好的兼容,且更加灵活。

OSD(Object-based Storage Device)对象存储,对象存储是一种新的网络存储架构,它兼具SAN高速直接访问磁盘和NAS分布式共享的特点,将数据存储和元数据信息分离,可以更加灵活的管理数据的存储。

技术分享图片

了解了上面那么多的名词,我们对于存储的发展大概有了一个认识了。其实存储的发展大概可以分为4个阶段,分别是单机文件系统,网络文件系统,集群文件系统和分布式文件系统。

单机文件系统

以FAT,NTFS为代表,DAS其实也可以算作单机文件系统,他们共同的特点就是文件存储在单台服务器上,依靠操作系统的文件系统来实现文件的存储和管理。随着数据量的增大以及对与数据安全性的需求越来越高,它们的缺点也日益显露。

  1. 可扩展性:容量小,无法存储大量数据,而且不能进行扩展。
  2. 性能:随着文件数量的增多,读写性能会下降
  3. 可靠性:没有备份机制,一旦硬件出了故障会造成数据的丢失。

网络文件系统

以NAS为代表,应用实现比如我们常用的网盘。它依托于网络提供了一定的便捷性,而且支持容量扩展,解决了单机文件系统容量小的问题。但是对于性能和可靠性的问题并没解决。

集群文件系统

以SAN为代表,实现比如RedHat的GFS(非Google的GFS),它是通过多个节点构成一个集群,各个节点的数据是相同的,对其中一个节点的数据进行修改时,其会以广播的形式通知其他各个节点。通过这一特性解决了单机文件系统存在的各项缺点。支持多个节点的扩展,多台节点共同提供服务提高性能,多个节点都进行数据保存保障数据的可靠性。但是其同样拥有很多缺点,集群的节点不能太多,对某一数据进行修改需要修改整个集群等等

分布式文件系统

以HDFS,CEPH和OSD为代表,实现了支持大规模节点的集群,并且提高了存储性能和数据的可靠性。我们用过HDFS或者CEPH的都清楚,他们依托于廉价的存储设备,可以随时增删节点对整个集群进行动态的扩容,高度可扩展。可以有效的避免单点故障,具有很高的容错性,可以提高稳定可靠的服务。整个分布式系统具有较高的吞吐量,可以满足大数据时代对于数据的存储。

前面的文章初识大数据中我们提到了HDFS和CEPH,两者都是当前使用较广泛的分布式存储服务,支持万级集群规模,应用感知进行负载均衡优化性能和效率。HDFS作为Hadoop的一大核心为分布式计算提供了有力的支持,但是由于其设计对于小文件的支持并不好。CEPH实现了统一存储,同时支持文件,块和对象存储。两者都支持数据的归档压缩提高存储空间利用率,并以纠删码技术为主,复制副本技术为辅提高数据的可靠性。

是时候发明一个新名词了~~~

欢迎关注我:叁金大数据(不稳定持续更新~~~)
技术分享图片


废鱼是怎样炼成的!

  初中看的那本《钢铁是怎样炼成的》主人公保尔,经过各种各样生活的磨砺,把肉体给练废了,但他精神永存!但是,虽然我和保尔一样把身体练废了,但是我不仅仅练废了身体,还有我的精神!刚毕业入职现在这个单... 查看详情

高手是怎样炼成的?

大家好,我是小麦。很多大学生、初学者总爱问一个问题:嵌入式这条路怎么走?以下是一位嵌入式高手分享的个人经历,看看钢铁是怎么样炼成的吧,相信会有所帮助。阶段1大一到大三这个阶段我与大多数... 查看详情

高手是怎样炼成的?

大家好,我是小麦。很多大学生、初学者总爱问一个问题:嵌入式这条路怎么走?以下是一位嵌入式高手分享的个人经历,看看钢铁是怎么样炼成的吧,相信会有所帮助。阶段1大一到大三这个阶段我与大多数... 查看详情

[转]程序员高手是怎样炼成的?

...朋友在很小的时候就看过奥斯特洛夫斯基同学的《钢铁是怎样炼成的》,偶小时候在农村混,看的最多是各式各样的牛屎以及长得极象牛屎的山头,这些所谓的名著偶直到大学才有机会拜读,但说实话,偶是个俗人,还是更喜欢... 查看详情

“软件设计是怎样炼成的?”实战视频课程

适合人群:软件设计师,用户体验设计师,程序员,系统架构师。课程目标:理解什么是优秀的设计;学会从分析需求开始如何逐步做出实用的软件设计;学会架构设计、数据库设计、用户体验设计和详细设计的实战技巧。课程... 查看详情

ai作画领域中的“神笔马良”是怎样炼成的?

本文由行者AI携手亚马逊云科技共同推出刷爆朋友圈的AIGC是什么?AIGeneratedContent(AIGC,利用人工智能技术来生成内容),是继专业生产内容(PGC,Professional-generatedContent)、用户生产内容(UGC,User-generatedContent&#... 查看详情

ai作画领域中的“神笔马良”是怎样炼成的?

本文由行者AI携手亚马逊云科技共同推出刷爆朋友圈的AIGC是什么?AIGeneratedContent(AIGC,利用人工智能技术来生成内容),是继专业生产内容(PGC,Professional-generatedContent)、用户生产内容(UGC,User-generatedContent&#... 查看详情

黑客教父郭盛华,一代传奇是怎样炼成的?

  1990年,郭盛华生于广东肇庆。初中毕业后,前往肇庆市工业贸易学校,就读中专,学习计算机网络技术。郭盛华把握时机,用平时省吃俭用积蓄的创办了自己的一个小网站,成立了自己的黑客帝国。  时光飞逝,岁月如... 查看详情

一个合格的员工或者管理者是怎样炼成的

以下内容均摘抄自姜汝祥的《请给我结果》这本书:任务是一个执行假象,因为我们绝大多数的人在实际工作中,当你以为你是在执行的时候,其实是在完成任务,因为你没有结果!我们要懂得一个基本道理:对结果负责,是对... 查看详情

这些令人仰望的c++大咖,都是怎样炼成的?

C++语言由于在构建系统软件领域的关键作用而被誉为“皇冠上的明珠”。随着C++20国际标准的正式发布,C++进入全新的里程碑。来自Google、微软、腾讯、华为等业界专家纷纷表示,包括C++20在内的... 查看详情

一个简单rpc框架是怎样炼成的(ii)——制定rpc消息

开局篇我们说了,RPC框架的四个核心内容RPC数据的传输。RPC消息协议RPC服务注冊RPC消息处理以下,我们先看一个普通的过程调用classClient(object):def__init__(self):self.remote=None###内部是托付给远程remote对象来获取结果。defsayHello(self):ifs... 查看详情

快出数量级的性能是怎样炼成的?(代码片段)

前言之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料:开源SPL提速保险公司团保明细... 查看详情

快出数量级的性能是怎样炼成的(代码片段)

我们之前做过一些性能优化的案例,不算很多,还没有失手过。少则提速数倍,多则数十倍,极端情况还有提速上千倍的。提速一个数量级基本上是常态。下面是一些案例材料:开源SPL提速保险公司团保明细... 查看详情

七牛云视频模板sdk:「剪刀手」是怎样炼成的?

成为作家,在博客兴起后不再是梦想,每个人都可以拥有属于自己的媒体;成为摄影师,门槛儿随着手机像素的提高而降低,用iPhone拍摄的照片也能拿下「荷赛」大奖。那么在短视频浪潮汹涌的当下,成为... 查看详情

16年微软/腾讯云/华为云mvp是怎样炼成的

自由、创新、研究、探索,很难想象到一个IT大神的博客,会将“自由”放在第一位,也许这二字代表的,既是精神,又是情怀。搞微软技术的,大家或多或少都有听说过微软的“最有价值专家”(MVP&#... 查看详情

举三反一,一通百通的“数学脑”是怎样炼成的?

“举三反一”的“一”其实是花样百出的题目背后所隐藏的基本概念和规律,以及正确的思维范式。掌握基础知识和概念,了解正确的思考方法,我们才能学会从题目中看出本质的东西。数学老师总说:“要学会... 查看详情

迅雷链技术沙龙第一站:百万级tps是怎样炼成的

9月15日下午,由迅雷集团主办的链创未来?迅雷链技术沙龙在北京举行,作为此系列技术沙龙的首期活动,本期邀请了来自迅雷链开放平台产品负责人、研发负责人、研发工程师、HGBC等企业的技术大咖,为区块链爱好者和开发者... 查看详情

赫卡忒的眼眸:微光手机“夜视仪”是怎样炼成的?

古希腊神话中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人与艺术家的守护者,甚至曾经帮助过宙斯等主神,备受万神的尊敬。而赫卡忒也是一位乐意接受凡人祈祷的女神,夜色到来时... 查看详情