glusterfs分布式文件系统的搭建

子非木 子非木     2022-08-11     478

关键词:

准备工作

1、安装IBA
  

yum install libradmacm librdmacm-devel libmlx4 infiniband-diags

 


2、配置IPOIB
  

   /etc/sysconfig/network-scripts/ifconfig-ib0
   DEVICE=ib0
   TYPE=InfiniBand
   BOOTPROTO=static
   ONBOOT=yes
   IPADDR=17.0.31.3
   NETMASK=255.255.0.0

 


   
   修改完配置之后,需要重启ib0
  

ifdown ib0 
ifup ib0

 

  ib0无法识别

service rdma restart

 

3、配置hosts
  

127.0.0.1   localhost localhost.localdomain localhost4    localhost4.localdomain4
::1            localhost localhost.localdomain localhost6 localhost6.localdomain6
173.0.31.1      datasrv001
173.0.31.2      datasrv002
173.0.31.3      datasrv003
17.0.31.1       ibdatasrv001    datasrv001.ib
17.0.31.2       ibdatasrv002    datasrv002.ib
17.0.31.3       ibdatasrv003    datasrv003.ib

 

安装glusterfs-3.6.7
1、下载glusterfs-3.6.7
2、

configure;make;make clean

 


3、打包后,放在

/root/rpmbuild/SOURCES/glusterfs-3.6.7.tar.gz

 

目录下。
4、

rpmbuild -ta glusterfs-3.6.7.tar.gz

 

rpmbuild -ba glusterfs.spec

 

生成包。
5、将Centos自带的glusterfs-3.6.0(卸载)

rpm -qa |grep glusterfs|xargs rpm -e --nodeps

 


6、安装生成的rpm包,

rpm -ivh *.rpm --nodeps

 


(注): ibstat 发现ib状态无法过去,缺少 ib_umad模块,可以使用modprobe加载模块。

modprobe ib_umad

 

加载成功之后,使用ibstat查看IB状态。

[[email protected] ~]# ibstat
 CA mlx4_0
 CA type: MT4099
 Number of ports: 1
 Firmware version: 2.35.5100
 Hardware version: 0
 Node GUID: 0xe41d2d030050b260
 System image GUID: 0xe41d2d030050b263
 Port 1:
  State: Active
  Physical state: LinkUp
  Rate: 40 (FDR10)
  Base lid: 1287
  LMC: 0
  SM lid: 1637
  Capability mask: 0x02514868
  Port GUID: 0xe41d2d030050b261
  Link layer: InfiniBand

 

启动glusterfs
1、打开防火墙
  

 iptables -I INPUT -p tcp --dport 24007:24011 -j ACCEPT
 iptables -I INPUT -p tcp --dport 34865:34885 -j ACCEPT

 


  
2、修改glusterd.vol文件
  

volume management
    type mgmt/glusterd
    option working-directory /var/lib/glusterd
    option transport-type socket,rdma
    option transport.socket.keepalive-time 10
    option transport.socket.keepalive-interval 2
    option transport.socket.read-fail-log off
    option ping-timeout 30
#   option base-port 49152
    option base-port 49352
    option rpc-auth-allow-insecure on
   end-volume

 

 3、启动服务
   

 service glusterd start

 


 
 4、探测节点
    在cinder的服务器datasrv001上
   

 gluster peer probe ibdatasrv002
 gluster peer probe ibstatsrv003

 

挂载卷
    格式化磁盘  mkfs.ext4
    准备服务
    1、在存储服务器上准备卷
    

gluster volume create datavolume1 transport tcp ibdatasrv001:/mnt/test1/dv1
    

 


    2、把datavolume也给设置上insecure on
   

 glusterd volume set datavolume1 server.allow-insecure on

 


    
    3、启动datavolume服务
   

 glusterd volume start datavolume1

 

   4、挂载客户端

   

 mount -t glusterfs ibdatasrv001:/datavolume1 /mnt/mount_test

 

搭建gfs分布式文件系统-----实操(代码片段)

一、GlusterFS简介:GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。开源的分布式文件系统... 查看详情

3.glusterfs企业分布式存储的搭建

3.1硬件要求一般选择2U机型,磁盘SATA盘4TB,如果IO要求比较高,可以采购SSD固态硬盘。为了充分保证系统的稳定性和性能,要求所有glusterfs服务器硬件配置尽量一致,尤其是硬盘数量和大小。机器的RAID卡需要带电池,缓存越大,... 查看详情

56.glusterfs分布式文件系统

GlusterFS分布式文件系统GlusterFS是一个开源的分布式文件系统,软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配得到针对性的解决方案。可解决一下问题:网络存储,联合存储,冗余备份,大文件的负载均衡。可... 查看详情

分布式文件系统---glusterfs介绍

...terFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使... 查看详情

glusterfs分布式文件系统!(代码片段)

GlusterFSGlusterFS基本知识文件系统GlusterFSGlusterFS特点GlusterFS组成GlusterFS专业术语GlusterFS工作流程GlusterFS卷类型GlusterFS集群部署GlusterFS基本知识文件系统组成:文件系统接口,对对象管理的软件集合,对象及属性作用࿱... 查看详情

glusterfs分布式文件系统!(代码片段)

GlusterFSGlusterFS基本知识文件系统GlusterFSGlusterFS特点GlusterFS组成GlusterFS专业术语GlusterFS工作流程GlusterFS卷类型GlusterFS集群部署GlusterFS基本知识文件系统组成:文件系统接口,对对象管理的软件集合,对象及属性作用࿱... 查看详情

glusterfs分布式文件系统

glusterfs第1章什么是分布式文件系统?相对于本极端的文件系统而言,分布式文件系统DFS,伙食网络文件系统NFS,是一种允许文件通过网络在多台主机上分享的文件系统你那个,可以让多机器上的多用户分享指定问加你和存储空间在这样... 查看详情

分布式文件系统--------glusterfs最佳实战

1.背景   GlusterFS是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA(一种支持多并发链接的“转换线缆”技术)网络将物理分布的... 查看详情

分布式文件系统-glusterfs

1.1分布式文件系统1.1.1什么是分布式文件系统  相对于本机端的文件系统而言,分布式文件系统(英语:Distributedfilesystem, DFS),或是网络文件系统(英语:NetworkFileSystem),是一种允许文件通过网络在多台主机上分享的文... 查看详情

glusterfs分布式文件系统概述(代码片段)

...GlusterFS的工作流程2、弹性HASH算法三、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷一、GlusterFS概述GlusterFS是一个开源的分布式文件系统,同时也是Scale-Out存储解决方案Gluster的核心,在存储数... 查看详情

glusterfs分布式文件系统

分布式系统要做的任务就是把多台机器有机的组合、连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务。如果一定要给近些年的分布式系统研究做一个分类的话,大概可以包括三大部分:1.分布式存储系统2... 查看详情

glusterfs分布式文件系统(代码片段)

GlusterFS分布式文件系统,用于存储、管理磁盘文件文件系统(FS)文件系统组成1、文件系统接口2、对对像管理的软件集合3、对象及属性文件系统作用从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配... 查看详情

glusterfs分布式文件系统部署

...terFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起,使... 查看详情

glusterfs-----文件分布系统+集群部署(代码片段)

一、Gluster概述1.1、gluster简介Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决方案中Glusterfs能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储.Glusterfs通过TCP... 查看详情

glusterfs-----文件分布系统+集群部署(代码片段)

一、Gluster概述1.1、gluster简介Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决方案中Glusterfs能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储.Glusterfs通过TCP... 查看详情

glusterfs分布式文件系统(代码片段)

简介Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过InfinibandRDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。  特征:容量可以按比例的扩展,... 查看详情

glusterfs——分布式卷

...概述GlusterFS系统是一个可扩展的网络文件系统,相比其他分布式文件系统,GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点,并且其没有元数据服务器的设计,让整个服务没有单点故障的隐患。文件存储通常支持POS... 查看详情

glusterfs分布式存储

...简介glusterfs部署 一、glusterfs简介Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过InfinibandRDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。  ... 查看详情