gfs分布式文件系统(代码片段)

奋斗的蜗牛灬 奋斗的蜗牛灬     2022-12-09     160

关键词:

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

分布式文件系统种类有:

  • CEPH 分布式文件系统(用的多)
  • GFS(GlusterFS )分布式文件系统
  • MFS 分布式文件系统

一、GlusterFS 介绍

1.1 GlusterFS 概念

  • GlusterFS 是一个开源的分布式文件系统。
  • 组成
    • 存储服务器(Brick Server)
    • 客户端
    • NFS/Samba 存储网关(可选,根据需要选择使用)
  • 没有 元数据 服务器组件,数据分散存储,可避免出现单点故障。(有助于提升整个系统的性能、可靠性和稳定性)

与传统的MFS分布式文件系统比较:

  • 传统的分布式文件系统大多通过元服务器来存储元数据,元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高,但是也存在一些缺陷,例如单点故障。一旦元数据服务器出现故障,即使节点具备再高的冗余性,整个存储系统也将崩溃。
  • 而 GlusterFS分布式文件系统是基于无元服务器的设计,数据横向扩展能力强,具备较高的可靠性及存储效率。
GlusterFs同时也是 Scale-out(横向扩展)存储解决方案Gluster的核心,
在存储数据方面具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。

GlusterFS支持借助TCP/IP或 InfiniBandRDNA 网络(一种支持多并发链接的技术,具有高带宽、低时延、高扩展性的特点)将物理分散分布的存储资源汇聚在一起,统一提供存储服务,并使用统一全局命名空间来管理数据。

1.2 GlusterFS 特点

扩展性和高性能

GlusterFS利用 双重特性 来提供高容量存储解决方案。
(1)Scale-Out (横向扩展)架构允许通过简单地增加存储节点的方式来提高存储容量和性能(磁盘、计算和I/O资源都可以独立增加),支持10GbE 和 InfiniBand 等高速网络互联。
(2)Gluster 弹性哈希(ElasticHash)解决了GlusterFS对元数据服务器的依赖,改善了单点故障和性能瓶颈,真正实现了并行化数据访问。GlusterFS采用弹性哈希算法在存储池中可以智能地定位任意数据分片(将数据分片存储在不同节点上),不需要查看索引或者向元数据服务器查询。

高可用性

GlusterFS 可以对文件进行自动复制,如镜像或多次复制,从而确保数据总是可以访问,甚至是在硬件故障的情况下也能正常访问。
当数据出现不一致时,自我修复功能能够把数据恢复到正确的状态,数据的修复是以增量的方式在后台执行,几乎不会产生性能负载。

GlusterFS可以支持所有的存储,因为它没有设计自己的私有数据文件格式,而是采用操作系统中主流标准的磁盘文件系统(如EXT3、XFS等)来存储文件,因此数据可以使用传统访问磁盘的方式被访问。

全局统一命名空间

分布式存储中,将所有节点的命名空间整合为统一命名空间,将整个系统的所有节点的存储容量组成一个大的虚拟存储池,供前端主机访问这些节点完成数据读写操作。

弹性卷管理

GlusterFS通过将数据储存在逻辑卷中,逻辑卷从逻辑存储池进行独立逻辑划分而得到。
逻辑存储池可以在线进行增加和移除,不会导致业务中断。逻辑卷可以根据需求在线增长和缩减,并可以在多个节点中实现负载均衡。
文件系统配置也可以实时在线进行更改并应用,从而可以适应工作负载条件变化或在线性能调优。

基于标准协议

Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议,完全与 POSIX 标准兼容。
现有应用程序不需要做任何修改就可以对Gluster 中的数据进行访问,也可以使用专用 API 进行访问。

1.3 GlusterFS术语

gfs分布式文件系统概述以及集群部署(代码片段)

GFS分布式文件系统概述以及集群部署一、GlusterFS概述1、文件系统组成2、文件系统的作用3、专业术语4、模块化堆栈式架构二、GFS特点三、GFS工作原理四、弹性HASH算法弹性HASH算法的优点五、GFS卷1、GFS卷类型2、三大基本卷的特点... 查看详情

gfs文件系统(代码片段)

1.1分布式文件系统1.1.1什么是分布式文件系统  相对于本机端的文件系统而言,分布式文件系统(英语:Distributedfilesystem, DFS),或是网络文件系统(英语:NetworkFileSystem),是一种允许文件通过网络在多台主机上分享的文... 查看详情

gfs分布式文件系统(理论+实验+故障模拟)(代码片段)

...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情

gfs分布式文件系统(代码片段)

GFS分布式文件系统一、概述二、特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFS术语四、GlusterFS的模块化堆栈式架构五、GlusterFS的工作流程六、后端存储定位文件的方法(HASH算法&#... 查看详情

gfs分布式文件系统(代码片段)

...GlusterFS介绍1.1GlusterFS概念1.2GlusterFS特点1.3GlusterFS术语前言分布式文件系统种类有:CEPH分布式文件系统(用的多)GFS(GlusterFS)分布式文件系统M 查看详情

gfs分布式文件系统(代码片段)

GFS概述组成接口:文件系统接口功能模块(管理、存储的工具):对对像管理的软件集合对象及属性:(使用此文件系统的消费者)作用 从系统角度来看,文件系统是对文件存储设备的空间进行组织和备份 负责文件... 查看详情

gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)

GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情

gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)

GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情

(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)

...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情

(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)

...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情

gfs分布式文件系统从入门到实践(代码片段)

GFS分布式文件系统一、GlusterFS概述1.1GlusterFS简介1.2GlusterFS的特点二、GlusterFS术语介绍2.1Brick(存储块)2.2Volume(逻辑卷)2.3FUSE2.4VFS2.5Glusterd(后台管理进程)三、理解GlusterFS工作流程四、理解弹性HASH算法4.1 查看详情

gfs分布式文件系统(代码片段)

目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFS群集1.准备环境(所有node节点上操作)①添加硬盘,关闭防火墙,修改所有node节... 查看详情

linuxglusterfs文件系统|gfs分布式文件系统群集部署|超详细(代码片段)

linuxGlusterFS文件系统|GFS分布式文件系统群集部署|超详细GlusterFS简介GlusterFS特点GlusterFS术语GFS工作流程GFS支持的七种卷GFS服务端部署1.1集群环境1.2更改节点名称1.3节点进行磁盘挂载,安装本地源1.4Hosts文件创建映射关系1.5创建G... 查看详情

gfs磁盘分布文件系统(代码片段)

...任池上(在node1节点上操作即可)5.创建卷dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)rep-volume复制 查看详情

gfs磁盘分布文件系统(代码片段)

...任池上(在node1节点上操作即可)5.创建卷dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)rep-volume复制 查看详情

gfs分布式文件系统(理论+实验+故障模拟)(代码片段)

...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情

linux运维数据库篇搭建gfs分布式存储实现数据的实时分布存储(代码片段)

...卷类型四部署客户端冗余测试其余命令一、GFS简介开源的分布式文件系统由存储服务器、客户端以及NFS/Samba存储网关组成无元数据服务器文件系统组成1、文件系统接口2、对对像管理的软件集合 查看详情

详解gfs分布式文件系统(条带卷/复制卷/分布式条带卷/分布式复制卷)(代码片段)

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFs群集三.客户端部署与测试测试总结补充:一.GlusterFS概述1.GlusterFS简介... 查看详情