关键词:
GFS概述
组成
- 接口:文件系统接口
- 功能模块(管理、存储的工具):对对像管理的软件集合
- 对象及属性:(使用此文件系统的消费者)
作用
- 从系统角度来看,文件系统是对文件存储设备的空间进行组织和备份
- 负责文件存储并对存入的文件进行保护和检索的系统
- 具体地说,它负责为用户建立文件、存入、读出、修改、转储文件、控制文件的存储
文件系统的挂载使用
除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问,挂载点即分区设备文件关联的某个目录文件;类比: NFS
GlusterFSt分布式文件系统:
用于存储、管理物理文件(保存磁盘时使用)
- 开源的分布式文件系统
- GFS的组成:由存储服务器(比如块服务器block)、客户端(对象)以及NFS/Samba存储网关组成(接口),三个部分
- 无元数据的服务器;
客户端的定位比较重要,因为他是无元数据服务器的
GFS特点
- 扩展性和高性能
- 高可用性
- 全局统一命名空间
- 弹性卷管理
- 基于标准协议
GFS工作原理
- 外来请求通过挂载点时,linux 系统内核通过VFS接口,把请求发送到FUSE
- FUSE将数据交给内存的/dev/fuse,然后递交到GFS客户端
- GFS客户端对数据进行处理,并通过网络协议(如TCP、IB等),传输到GFS服务端
- GFS服务端接收到数据后,通过VFS接口,对数据进行相应的转存处理
GFS卷
基本卷:
(1) distribute volume:分布式卷
(2) stripe volume:条带卷
(3) replica volume:复制卷
复合卷:
(4) distribute stripe volume:分布式条带卷
(5) distribute replica volume:分布式复制卷
(6) stripe replica volume:条带复制卷
(7) distribute stripe replicavolume:分布式条带复制卷
三大基本卷的特点
分布式卷
- 文件分布在不同的服务器,不具备冗余性
- 更容易和廉价地扩展卷的大小
- 单点故障会造成数据丢失
- 依赖底层的数据保护
条带卷
- 数据被分割成更小块分布到块服务器群中的不同条带区
- 分布减少了负载且更小的文件加速了存取的速度
- 没有数据冗余
复制卷
- 卷中所有的服务器均保存一个完整的副本
- 卷的副本数量可由客户创建的时候决定
- 至少由两个块服务器或更多服务器
- 具备冗余性
部署GFS群集实验:
实验环境:
节点 ip 磁盘 挂载点
node1 192.168.220.50 sdb1、sdc1、sdd1、sde1 /data
node2 192.168.220.35 sdb1、sdc1、sdd1、sde1 /data
node3 192.168.220.40 sdb1、sdc1、sdd1、sde1 /data
node4 192.168.220.45 sdb1、sdc1、sdd1、sde1 /data
client 192.168.220.30
部署节点集群:
首先关闭防火墙:
systemctl stop firewalld
setenforce 0
编写脚本实现磁盘分区,并进行挂载
cd /opt
vim /opt/fdisk.sh
#!/bin/bash
echo "the disks exist list:"
##grep出系统所带磁盘
fdisk -l |grep '磁盘 /dev/sd[a-z]'
echo "=================================================="
PS3="chose which disk you want to create:"
##选择需要创建的磁盘编号
select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit
do
case $VAR in
sda)
##本地磁盘就退出case语句
fdisk -l /dev/sda
break ;;
sd[b-z])
#create partitions
echo "n ##创建磁盘
p
w" | fdisk /dev/$VAR
#make filesystem
##格式化
mkfs.xfs -i size=512 /dev/$VAR"1" &> /dev/null
#mount the system
mkdir -p /data/$VAR"1" &> /dev/null
###永久挂载
echo -e "/dev/$VAR"1" /data/$VAR"1" xfs defaults 0 0\\n" >> /etc/fstab
###使得挂载生效
mount -a &> /dev/null
break ;;
quit)
break;;
*)
echo "wrong disk,please check again";;
esac
done
chmod +x /opt/fdisk.sh
./fdisk.sh
配置各个节点的/etc/hosts文件(所有节点操作)
echo "192.168.220.50 node1" >> /etc/hosts
echo "192.168.220.35 node2" >> /etc/hosts
echo "192.168.220.40 node3" >> /etc/hosts
echo "192.168.220.45 node4" >> /etc/hosts
echo "192.168.220.30 client" >> /etc/hosts
安装、启动GFS(所有节点上操作):
gfsrepo压缩包上传至opt目录下
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mv * repos.bak/
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
这里出现报错了,
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
netstat -antp | grep glusterd
添加DNS,进行时间同步:
echo "nameserver 114.114.114.114" >> /etc/resolv.conf
ntpdate ntp1.aliyun.com
#添加节点到存储信任池中(在任意一个node中操作)
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
#在每个node节点上查看群集状态
gluster peer status
========根据以下规划创建卷=========
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
#创建分布式卷,没有指定类型,默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
gluster volume list
gluster volume start dis-volume
gluster volume info dis-volume
#指定类型为 stripe,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume
#指定类型为 replica,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume
#创建分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe
#创建分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep
部署客户端
cd /opt
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mv * repos.bak/
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
mkdir -p /test/dis,stripe,rep,dis_stripe,dis_rep
echo "192.168.220.50 node1" >> /etc/hosts
echo "192.168.220.35 node2" >> /etc/hosts
echo "192.168.220.40 node3" >> /etc/hosts
echo "192.168.220.45 node4" >> /etc/hosts
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -h
测试
#客户端写入数据
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/
#查看文件分布
1、查看分布式文件分布
node1:ll -h /data/sdb1
node2:ll -h /data/sdb1
2、查看条带卷文件分布
node1:ll -h /data/sdc1
node2:ll -h /data/sdc1
3、查看复制卷文件分布
node3:ll -h /data/sdb1
node4:ll -h /data/sdb1
4、查看分布式条带卷分布
node1:ll -h /data/sdd1
node2:ll -h /data/sdd1
node3:ll -h /data/sdd1
node4:ll -h /data/sdd1
5、查看分布式复制卷分布
node1:ll -h /data/sde1
node2:ll -h /data/sde1
node3:ll -h /data/sde1
node4:ll -h /data/sde1
破坏性测试分布式文件系统
systemctl stop glusterd ##关闭glusterd服务node2节点来模拟故障
ls ##在客户端上查看文件是否正常
查看卷数据是否正常
ls /test/dis ##测试分布式是否正常
ls /test/rep ##测试复制带是否正常
ls /test/stripe ##测试条带是否正常
ll /test/dis_stripe ##测试分布式条带是否正常
ls /test/dis_rep ##测试分布复制带是否正常
其他的维护命令:
1.查看GlusterFS卷
gluster volume list
2.查看所有卷的信息
gluster volume info
3.查看所有卷的状态
gluster volume status
4.停止一个卷
gluster volume stop dis-stripe
5.删除一个卷,注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
gluster volume delete dis-stripe
6.设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.226.100
#仅允许
gluster volume set dis-rep auth.allow 192.168.226.* #设置192.168.226.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)
gfs分布式文件系统概述以及集群部署(代码片段)
GFS分布式文件系统概述以及集群部署一、GlusterFS概述1、文件系统组成2、文件系统的作用3、专业术语4、模块化堆栈式架构二、GFS特点三、GFS工作原理四、弹性HASH算法弹性HASH算法的优点五、GFS卷1、GFS卷类型2、三大基本卷的特点... 查看详情
gfs文件系统(代码片段)
1.1分布式文件系统1.1.1什么是分布式文件系统 相对于本机端的文件系统而言,分布式文件系统(英语:Distributedfilesystem, DFS),或是网络文件系统(英语:NetworkFileSystem),是一种允许文件通过网络在多台主机上分享的文... 查看详情
gfs分布式文件系统(理论+实验+故障模拟)(代码片段)
...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情
gfs分布式文件系统(代码片段)
GFS分布式文件系统一、概述二、特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFS术语四、GlusterFS的模块化堆栈式架构五、GlusterFS的工作流程六、后端存储定位文件的方法(HASH算法... 查看详情
gfs分布式文件系统(代码片段)
...GlusterFS介绍1.1GlusterFS概念1.2GlusterFS特点1.3GlusterFS术语前言分布式文件系统种类有:CEPH分布式文件系统(用的多)GFS(GlusterFS)分布式文件系统M 查看详情
gfs分布式文件系统(代码片段)
GFS概述组成接口:文件系统接口功能模块(管理、存储的工具):对对像管理的软件集合对象及属性:(使用此文件系统的消费者)作用 从系统角度来看,文件系统是对文件存储设备的空间进行组织和备份 负责文件... 查看详情
gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)
GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情
gfs分布式文件系统简述以及gfs的服务部署案例(代码片段)
GFS一、概述1.1简介1.2特点1.3术语1.4工作流程1.5七种卷分布式卷(默认)条带卷(默认)复制卷(Replicavolume)分布式条带卷(DistributeStripevolume)分布式复制卷(DistributeReplicavolume)条 查看详情
(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)
...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情
(❤❤❤)gfs分布式文件系统理论+部署(❤❤❤)(代码片段)
...一命名空间④弹性卷管理⑤基于标准协议1.3、MFS(传统的分布式文件系统)1.4、GFS二、GlusterFS术语介绍①Brick(存储块)②Volume(逻辑卷)③FUSE④VFS⑤Glusterd( 查看详情
gfs分布式文件系统从入门到实践(代码片段)
GFS分布式文件系统一、GlusterFS概述1.1GlusterFS简介1.2GlusterFS的特点二、GlusterFS术语介绍2.1Brick(存储块)2.2Volume(逻辑卷)2.3FUSE2.4VFS2.5Glusterd(后台管理进程)三、理解GlusterFS工作流程四、理解弹性HASH算法4.1 查看详情
gfs分布式文件系统(代码片段)
目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFS群集1.准备环境(所有node节点上操作)①添加硬盘,关闭防火墙,修改所有node节... 查看详情
linuxglusterfs文件系统|gfs分布式文件系统群集部署|超详细(代码片段)
linuxGlusterFS文件系统|GFS分布式文件系统群集部署|超详细GlusterFS简介GlusterFS特点GlusterFS术语GFS工作流程GFS支持的七种卷GFS服务端部署1.1集群环境1.2更改节点名称1.3节点进行磁盘挂载,安装本地源1.4Hosts文件创建映射关系1.5创建G... 查看详情
gfs磁盘分布文件系统(代码片段)
...任池上(在node1节点上操作即可)5.创建卷dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)rep-volume复制 查看详情
gfs磁盘分布文件系统(代码片段)
...任池上(在node1节点上操作即可)5.创建卷dis-volume分布式卷node1(/data/sdb1)、node2(/data/sdb1)stripe-volume条带卷node1(/data/sdc1)、node2(/data/sdc1)rep-volume复制 查看详情
gfs分布式文件系统(理论+实验+故障模拟)(代码片段)
...概述1.2GFS特点1.3GFS术语1.4GFS构成与架构二、GFS的卷类型2.1分布式卷2.2条带卷2.3复制卷2.4分布式条带卷2.5分布式复制卷三、GFS工作原理(工作流程)四、弹性HASH算法五、GFS群集部署5.1部署环境5.2脚本批量格式化创建(... 查看详情
linux运维数据库篇搭建gfs分布式存储实现数据的实时分布存储(代码片段)
...卷类型四部署客户端冗余测试其余命令一、GFS简介开源的分布式文件系统由存储服务器、客户端以及NFS/Samba存储网关组成无元数据服务器文件系统组成1、文件系统接口2、对对像管理的软件集合 查看详情
详解gfs分布式文件系统(条带卷/复制卷/分布式条带卷/分布式复制卷)(代码片段)
GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS工作流程6.弹性HASH算法7.GlusterFs的卷类型二.部署GlusterFs群集三.客户端部署与测试测试总结补充:一.GlusterFS概述1.GlusterFS简介... 查看详情