glusterfs存储结构原理介绍

author author     2022-09-09     361

关键词:

一、分布式文件系统

    分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储数据时,服务器指引其将数据分散的存储到多个存储节点上,以提供更快的速度,更大的容量及更好的冗余特性。

    目前流行的分布式文件系统有许多,如MooseFS、OpenAFS、GoogleFS,具体实现原理我这里不再介绍。

二、GlusterFS概述

    GlusterFS系统是一个可扩展的网络文件系统,相比其他分布式文件系统,GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点,并且其没有元数据服务器的设计,让整个服务没有单点故障的隐患。

术语:

  • Brick:GFS中的存储单元,通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识,如‘SERVER:EXPORT‘

  • Client:挂载了GFS卷的设备

  • Extended Attributes:xattr是一个文件系统的特性,其支持用户或程序关联文件/目录和元数据。

  • FUSE:Filesystem Userspace是一个可加载的内核模块,其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。

  • Geo-Replication

  • GFID:GFS卷中的每个文件或目录都有一个唯一的128位的数据相关联,其用于模拟inode

  • Namespace:每个Gluster卷都导出单个ns作为POSIX的挂载点

  • Node:一个拥有若干brick的设备

  • RDMA:远程直接内存访问,支持不通过双方的OS进行直接内存访问。

  • RRDNS:round robin DNS是一种通过DNS轮转返回不同的设备以进行负载均衡的方法

  • Self-heal:用于后台运行检测复本卷中文件和目录的不一致性并解决这些不一致。

  • Split-brain:脑裂

  • Translator:

  • Volfile:glusterfs进程的配置文件,通常位于/var/lib/glusterd/vols/volname

  • Volume:一组bricks的逻辑集合

1、无元数据设计

    元数据是用来描述一个文件或给定区块在分布式文件系统中所在的位置,简而言之就是某个文件或某个区块存储的位置。传统分布式文件系统大都会设置元数据服务器或者功能相近的管理服务器,主要作用就是用来管理文件与数据区块之间的存储位置关系。相较其他分布式文件系统而言,GlusterFS并没有集中或者分布式的元数据的概念,取而代之的是弹性哈希算法。集群中的任何服务器和客户端都可以利用哈希算法、路径及文件名进行计算,就可以对数据进行定位,并执行读写访问操作。

    这种设计带来的好处是极大的提高了扩展性,同时也提高了系统的性能和可靠性;另一显著的特点是如果给定确定的文件名,查找文件位置会非常快。但是如果要列出文件或者目录,性能会大幅下降,因为列出文件或者目录时,需要查询所在节点并对各节点中的信息进行聚合。此时有元数据服务的分布式文件系统的查询效率反而会提高许多。

2、服务器间的部署

    在之前的版本中服务器间的关系是对等的,也就是说每个节点服务器都掌握了集群的配置信息,这样做的好处是每个节点度拥有节点的配置信息,高度自治,所有信息都可以在本地查询。每个节点的信息更新都会向其他节点通告,保证节点间信息的一致性。但如果集群规模较大,节点众多时,信息同步的效率就会下降,节点信息的非一致性概率就会大大提高。因此GlusterFS未来的版本有向集中式管理变化的趋势。

3、客户端访问流程

技术分享

    当客户端访问GlusterFS存储时,首先程序通过访问挂载点的形式读写数据,对于用户和程序而言,集群文件系统是透明的,用户和程序根本感觉不到文件系统是本地还是在远程服务器上。读写操作将会被交给VFS(Virtual File System)来处理,VFS会将请求交给FUSE内核模块,而FUSE又会通过设备/dev/fuse将数据交给GlusterFS Client。最后经过GlusterFS Client的计算,并最终经过网络将请求或数据发送到GlusterFS Server上。

三、GlusterFS集群的模式

    GlusterFS 集群的模式只数据在集群中的存放结构,类似于磁盘阵列中的级别。

1、分布式卷(Distributed Volume)

    又称哈希卷,近似于RAID0,文件没有分片,文件根据hash算法写入各个节点的硬盘上,优点是容量大,缺点是没冗余。

技术分享

2、复制卷(Replicated Volume)

    相当于raid1,复制的份数,决定集群的大小,通常与分布式卷或者条带卷组合使用,解决前两种存储卷的冗余缺陷。缺点是磁盘利用率低。

    复本卷在创建时可指定复本的数量,通常为2或者3,复本在存储时会在卷的不同brick上,因此有几个复本就必须提供至少多个brick,当其中一台服务器失效后,可以从另一台服务器读取数据,因此复制GlusterFS卷提高了数据可靠性的同事,还提供了数据冗余的功能。

技术分享

3、分布式复制卷(Distributed Replicated Volume)

   分布式复制GlusterFS卷结合了分布式和复制Gluster卷的特点,看起来类似RAID10,但其实不同,RAID10其实质是条带化,但分布式复制GlusterFS卷则没有。

技术分享

4、条带卷(Striped Volume)

    相当于raid0,文件是分片均匀写在各个节点的硬盘上的,优点是分布式读写,性能整体较好。缺点是没冗余,分片随机读写可能会导致硬盘IOPS饱和。

技术分享

5、分布式条带卷(Distributed Striped Volume)

    当单个文件的体型十分巨大,客户端数量更多时,条带卷已经无法满足需求,此时将分布式与条带化结合起来是一个比较好的选择。其性能与服务器数量有关。

技术分享

参考文档:http://gluster.readthedocs.io/en/latest/Quick-Start-Guide/Architecture/



                               技术分享


本文出自 “运维点滴记录” 博客,请务必保留此出处http://wzlinux.blog.51cto.com/8021085/1949441

glusterfs简单介绍

...手,低坑模式,深受我这种菜鸟的喜爱并一发不可收拾。glusterFS:适用于数据密集型任务的可扩展忘了文件系统,免费开源。gluster于2011年10月7日被redhat收 查看详情

分布式文件系统---glusterfs介绍

GlusterFS概述GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚... 查看详情

mysql存储引擎-innodb实现原理介绍

目录存储结构内存结构磁盘结构新版本结构演变线程模型数据文件 查看详情

glusterfs分布式文件系统概述(代码片段)

博文目录一、GlusterFS概述1、GlusterFS的特点2、GlusterFS术语3、模块化堆栈式架构二、GlusterFS的工作原理1、GlusterFS的工作流程2、弹性HASH算法三、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷一、G... 查看详情

glusterfs——分布式卷

GlusterFS概述GlusterFS系统是一个可扩展的网络文件系统,相比其他分布式文件系统,GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点,并且其没有元数据服务器的设计,让整个服务没有单点故障的隐患。文件存储通常... 查看详情

glusterfs部署和应用

      关于GlusterFS的原理理论介绍,请点击这里查看一、GlusterFS安装  本博文讲简要介绍GlusterFS在CentOS7中的部署和应用。由于GlusterFS需要使用网络,因此还必须事先根据环境设置防火墙规则,关闭SELin... 查看详情

glusterfs(代码片段)

...大批优秀的开源分布式存储系统,包括ceph、swift、Lustre和glusterfs等。??分布式存储系统分布式存储按其存储接口分为三种:文件存储、块存储和对象存储。?文件存储通常支持POSIX接口(如glusterfs,但GFS、HDFS是非POSIX接口的),可... 查看详情

glusterfs分布式文件系统快速管理

TaoCloudXDFS基于GlusterFS开源分布式文件系统,进行了系统优化、工程化、定制化和产品化工作,五年以上的实践积累了大量实践经验,包括客户案例、最佳实践、定制开发、咨询服务和技术培训。XDFS推崇KISS大道至简的... 查看详情

romram存储器原理详解以及dramsramsdramflash存储器的介绍(代码片段)

...区别SRAMDRAM六、SDRAM七、FLASH概述ROM、RAM是可读与可读可写存储器的一种框架,DRAM、SRAM、SDRAM是基于RAM框架的一种实现一、ROM1.介绍ROM全拼是ReadOnlyMemory(只读存储器), 查看详情

romram存储器原理详解以及dramsramsdramflash存储器的介绍(代码片段)

...区别SRAMDRAM六、SDRAM七、FLASH概述ROM、RAM是可读与可读可写存储器的一种框架,DRAM、SRAM、SDRAM是基于RAM框架的一种实现一、ROM1.介绍ROM全拼是ReadOnlyMemory(只读存储器), 查看详情

56.glusterfs分布式文件系统

GlusterFS分布式文件系统GlusterFS是一个开源的分布式文件系统,软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配得到针对性的解决方案。可解决一下问题:网络存储,联合存储,冗余备份,大文件的负载均衡。可... 查看详情

glusterfs架构介绍及运维说明

官方网站:http://www.gluster.org/下载地址:http://download.gluster.org/pub/gluster/glusterfs/  GlusterFS架构介绍一、GlusterFS外部架构650)this.width=650;"style="border-bottom:mediumnone;border-left:mediumnone;pa 查看详情

glusterfs分布式存储安装部署

 Glusterfs分布式存储部署是存储当中可以选择的一种现在很多虚拟化云计算都在用软件存储例如cephGlusterfs等等今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息:     Glusterfs-A     ... 查看详情

glusterfs分布式存储

目录glusterfs简介glusterfs部署 一、glusterfs简介Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过InfinibandRDMA或者 Tcp/Ip方式互联的一个并行的网络文件... 查看详情

glusterfs分布式存储集群部署记录-相关补充

 接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档,继续做一些补充记录,希望能加深对GlusterFS存储操作的理解和熟悉度。========================清理glusterfs存储环境=========================由上面可知,该glusterfs存储集群... 查看详情

hbase原理介绍

...;HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PCServer上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据,具体来说是仅需使用普通的硬件配置,就能够处理由成千上万... 查看详情

分布式文件存储——glusterfs

一、概论1.简介GlusterFS(GlusterFileSystem)是一个开源的分布式文件系统,主要由ZRESEARCH公司负责开发。GlusterFS是Scale-Out存储解决方案Gluster的核心,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS... 查看详情

计算机原理学习

...其中主要介绍了CPU的结构和工作原理。这一篇主要来介绍存储区,总线,以及IO设备等其他几大组件,来了解整个计算机是如何工作的。这些东西都是看得见摸得着的硬件,平时我们买电脑时最关注的就是CPU的速度,内存的大小... 查看详情