gfs分布式文件系统集群(理论篇)(代码片段)

author author     2023-05-01     182

关键词:

GlusterFS概述

GlusterFS简介

  • 开源的分布式文件系统
  • 由存储服务器,客户端以及NFS/Samba存储网关组成
  • 无元数据服务器

GlusterFS的特点

  • 扩展性和高性能
  • 高可用性
  • 全局统一的命名空间
  • 弹性卷管理
  • 基于标准协议

GlusterFS术语

  • Brick : 存储节点
  • Volume : 卷
  • FUSE : 内核模块,用户端的交互模块
  • VFS : 虚拟端口
  • Glusterd : 服务

模块化堆栈架构

  • 模块化、堆栈式的架构
  • 通过对模块的组合,实现负责的功能

GlusterFS工作模式

GlusterFS工作流程

技术图片

  • Application:客户端或应用程序通过GlusterFSync的挂载点访问数据
  • VFS:linux系统内核通过VFS API收到请求并处理
  • FUSE : VFS 将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
  • GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server,并且写入到服务器存储设备上

弹性HASH算法

  • 通过HASH算法得到一个32位的整数
  • 划分为N个连续的子空间,每个空间对应一个Brick
  • 弹性HASH算法的优点
    • 保证数据平均分布在每一个Brink中
    • 解决了对元数据服务器的依懒,进而解决了单点故障以及访问瓶颈

GlusterFS的卷类型

分布式卷

  • 没有对文件进行分块处理
  • 通过扩展文件属性保存HASH值
  • 支持底层文件系统有ext3、ext4、ZFS、XFS等

分布式卷的特点

  • 文件分布在不同的服务器。不具备冗余性
  • 更容易和廉价地扩展卷的大小
  • 单点故障会造成数据丢失
  • 依懒底层的数据保护

创建分布式卷

  • 创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
    gluster volume create dis-volume server1:/dir1 server2:/dir2

条带卷

  • 根据偏移量将文件分为N块(N个条带节点),轮询的存储在每个Brick Server节点
  • 存储大文件时,性能尤为突出
  • 不具备冗余性,类似Raid0

特点

  • 数据被分割成更小块分布到块服务器群中的不同条带区
  • 分布减少负载且更小的文件加速了存取的速度
  • 没有数据冗余

创建条带卷

  • 创建一个名为Stripe-volume的条带卷,文件将被分块轮询的存储在Server1:/dir1和Server2:dir2两个Brick中
    gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

复制卷

  • 同一个文件保存一份或多分副本
  • 复制模式因为保存副本,所以磁盘利用率较低
  • 多个节点的存储空间不一致,那么将按照木桶效应取最低节点的容量作为该卷的总容量

特点

  • 卷中所有的服务器均保存一个完整的副本
  • 卷的副本数量可以有客户创建的时候决定
  • 至少由两个块服务器或更多服务器
  • 具备冗余性

创建复制卷

  • 创建名为rep-volume的复制卷、文件将同时存储两个副本
    gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

分布式条带卷

  • 兼顾分布式卷和条带卷的功能
  • 主要用于大文件访问处理
  • 至少最少需要4台服务器

创建分布式条带卷

  • 创建一个名为dis-stripe的分布式条带卷,配置分布式的条带卷时,卷中Brink所包含 的存储服务器数必须是条带数的倍数(>=2倍)
    gluster volume create rep-volume stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2

分布式复制卷

  • 兼顾分布式卷和复制卷的功能
  • 用于需要冗余的情况下

创建分布式复制卷

  • 创建一个名为dis-rep的分布式条带卷,配置分布式条带卷的复制卷时,卷中Brink所包含的存储服务器必须是条带数的倍数(>=2倍)
    gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2

gfs分布式文件系统(理论+实验+故障模拟)(代码片段)

...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情

(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)

...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情

(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)

...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情

gfs分布式文件系统(理论+实验+故障模拟)(代码片段)

...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情

linux运维数据库篇搭建gfs分布式存储实现数据的实时分布存储(代码片段)

...卷类型四部署客户端冗余测试其余命令一、GFS简介开源的分布式文件系统由存储服务器、客户端以及NFS/Samba存储网关组成无元数据服务器文件系统组成1、文件系统接口2、对对像管理的软件集合 查看详情

gfs分布式文件系统集群(实例!!!)(代码片段)

GFS分布式文件系统集群项目群集环境卷类型卷名称卷类型空间大小Brickdis-volume分布式卷40Gnode1(/b1)、node2(/b1)stripe-volume条带卷40Gnode1(/c1)、node2(/c1)rep-volume复制卷20Gnode3(/b1)、node4(/b1)dis-stripe分布式条带卷40Gnode1(/d1)、node2(/d1)、node3(/d1)... 查看详情

gfs分布式文件系统(代码片段)

GFS分布式文件系统GFS简介GFS特点GFS术语模块化堆栈式架构GFS的工作流程弹性HASH算法GFS的卷类型分布式卷(默认)条带卷(默认)复制卷分布式条带卷分布式复制卷条带复制卷分布式条带复制卷GFS部署GFS简介GlusterFS... 查看详情

gfs分布式文件系统(代码片段)

GFS分布式文件系统GFS简介GFS特点GFS术语模块化堆栈式架构GFS的工作流程弹性HASH算法GFS的卷类型分布式卷(默认)条带卷(默认)复制卷分布式条带卷分布式复制卷条带复制卷分布式条带复制卷GFS部署GFS简介GlusterFS... 查看详情

linuxglusterfs文件系统|gfs分布式文件系统群集部署|超详细(代码片段)

linuxGlusterFS文件系统|GFS分布式文件系统群集部署|超详细GlusterFS简介GlusterFS特点GlusterFS术语GFS工作流程GFS支持的七种卷GFS服务端部署1.1集群环境1.2更改节点名称1.3节点进行磁盘挂载,安装本地源1.4Hosts文件创建映射关系1.5创建G... 查看详情

gfs文件系统(代码片段)

1.1分布式文件系统1.1.1什么是分布式文件系统  相对于本机端的文件系统而言,分布式文件系统(英语:Distributedfilesystem, DFS),或是网络文件系统(英语:NetworkFileSystem),是一种允许文件通过网络在多台主机上分享的文... 查看详情

gfs分布式文件系统(代码片段)

GFS分布式文件系统一、概述二、特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFS术语四、GlusterFS的模块化堆栈式架构五、GlusterFS的工作流程六、后端存储定位文件的方法(HASH算法&#... 查看详情

gfs分布式文件系统(代码片段)

...GlusterFS介绍1.1GlusterFS概念1.2GlusterFS特点1.3GlusterFS术语前言分布式文件系统种类有:CEPH分布式文件系统(用的多)GFS(GlusterFS)分布式文件系统M 查看详情

gfs分布式文件系统(代码片段)

GFS概述组成接口:文件系统接口功能模块(管理、存储的工具):对对像管理的软件集合对象及属性:(使用此文件系统的消费者)作用 从系统角度来看,文件系统是对文件存储设备的空间进行组织和备份 负责文件... 查看详情

gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)

GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情

gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)

GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情

gfs分布式文件系统从入门到实践(代码片段)

GFS分布式文件系统一、GlusterFS概述1.1GlusterFS简介1.2GlusterFS的特点二、GlusterFS术语介绍2.1Brick(存储块)2.2Volume(逻辑卷)2.3FUSE2.4VFS2.5Glusterd(后台管理进程)三、理解GlusterFS工作流程四、理解弹性HASH算法4.1 查看详情

gfs分布式文件系统(代码片段)

目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFS群集1.准备环境(所有node节点上操作)①添加硬盘,关闭防火墙,修改所有node节... 查看详情

gfs磁盘分布文件系统(代码片段)

...任池上(在node1节点上操作即可)5.创建卷dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)rep-volume复制 查看详情