正文

搭建mfs分布式文件系统(代码片段)

author  author  2023-01-13  111

关键词：

MFS分布式文件系统

MFS是一种半分布式文件系统，它是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够更节约存储成本，而且不比专业的存储系统差，它还可以实现在线扩展。
　
分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

分布式文件系统的优点是集中访问、简化操作、数据容灾，以及提高了文件的存取性能。

MFS文件系统的组成架构：

元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据；

元数据日志服务器（Metalogger）：备份Master服务器的变化日志文件，文件类型为changlog_ml.*.mfs。当Master服务器数据丢失或者损坏时，可以从日志服务器中取得文件，进行恢复；

数据存储服务器（Chunk Server）：真正存储的数据的服务器。存储文件时，会把文件分块保存，并在数据服务器之间进行复制。数据服务器越多，能够使用的容量则越大，可靠性就越高，性能也就越好；

客户端（Client）：可以像挂载NFS一样挂载MFS文件系统，其操作是相同的。

MFS读取数据的过程：

客户端向元数据服务器发出读请求；

元数据服务器把所需数据存放的位置（ChunkServer的IP地址和Chunk编号）告知客户端；

客户端向已知的ChunkServer请求发送数据；

Chunkserver向客户端发送数据。

MFS写入数据的过程：

客户端向元数据服务器发送写入请求；

元数据服务器与ChunkServer进行交互，但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由ChunkServers告知元数据服务器操作成功；

元数据服务器告知客户端，可以在哪个ChunkServer的哪些Chunks吸入数据；

客户端向指定的ChunkServer写入数据；

该ChunkServer与其他ChunkServer进行数据同步，同步成功后ChunkServer告知客户端数据写入成功；

客户端告知元数据服务器本次写入完毕。

系统环境

主机	操作系统	IP地址
Master Server	Centos 7.3 X86_64	192.168.1.11
Metalogger	Centos 7.3 X86_64	192.168.1.12
Chunk1	Centos 7.3 X86_64	192.168.1.13
Chunk2	Centos 7.3 X86_64	192.168.1.14
Chunk3	Centos 7.3 X86_64	192.168.1.15
Client	Centos 7.3 X86_64	192.168.1.22

开始部署

Master Server：

添加键值

# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

添加库条目

# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装mfsmaster软件包
```
yum -y install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
```
确认配置文件，在/etc/mfs下生成了相关的配置文件（mfsexports.cfg、mfsmaster.cfg等）
以下配置文件均采用默认值，不需做修改：mfsmaster.cfg、mfsexports.cfg、mfstopology.cfg
　
启动mfsmaster，检查应用是否启动
```
mfsmaster start
ps -ef | grep mfs
```

Metalogger：

添加键值

# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

添加库条目

# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装mfsmetalogger软件包
```
yum -y install moosefs-metalogger
```

编辑mfsmetalogger.cfg配置文件

## vim /etc/mfs/mfsmetalogger.cfg
······省略部分语句
###############################################
# RUNTIME OPTIONS                             #
###############################################
　
# user to run daemon as (default is mfs)
# WORKING_USER = mfs
　
# group to run daemon as (optional - if empty then default user group will be used)
# WORKING_GROUP = mfs
　
# name of process to place in syslog messages (default is mfsmetalogger)
# SYSLOG_IDENT = mfsmetalogger
　
# whether to perform mlockall() to avoid swapping out mfsmetalogger process (default is 0, i.e. no)
# LOCK_MEMORY = 0
　
# Linux only: limit malloc arenas to given value - prevents server from using huge amount of virtual memor    y (default is 4)
# LIMIT_GLIBC_MALLOC_ARENAS = 4
　
# Linux only: disable out of memory killer (default is 1)
# DISABLE_OOM_KILLER = 1
　
# nice level to run daemon with (default is -19; note: process must be started as root to increase priorit    y, if setting of priority fails, process retains the nice level it started with)
# NICE_LEVEL = -19
　
# set default umask for group and others (user has always 0, default is 027 - block write for group and bl    ock all for others)
# FILE_UMASK = 027
　
# where to store daemon lock file (default is /var/lib/mfs)
# DATA_PATH = /var/lib/mfs
　
# number of metadata change log files (default is 50)
# BACK_LOGS = 50
　
# number of previous metadata files to be kept (default is 3)
# BACK_META_KEEP_PREVIOUS = 3
　
# metadata download frequency in hours (default is 24, should be at least BACK_LOGS/2)
# META_DOWNLOAD_FREQ = 24
　
###############################################
# MASTER CONNECTION OPTIONS                   #
###############################################
　
# delay in seconds before next try to reconnect to master if not connected (default is 5)
# MASTER_RECONNECTION_DELAY = 5
　
# local address to use for connecting with master (default is *, i.e. default local address)
# BIND_HOST = *
　
# MooseFS master host, IP is allowed only in single-master installations (default is mfsmaster)
　
修改为Master的IP地址 
MASTER_HOST = 192.168.1.11
　
　
# MooseFS master supervisor port (default is 9419)
# MASTER_PORT = 9419
　
# timeout in seconds for master connections (default is 10)
# MASTER_TIMEOUT = 10

启动mfsmetalogger，检查应用是否启动
```
mfsmetalogger start
ps -ef | grep mfs
```

ChunkServers：

　
以上三台数据存储服务器配置一致
　

添加键值

# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

添加库条目

# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装mfsmaster软件包
```
yum -y install moosefs-chunkserver
```

修改主配置文件，修改Master的IP地址

## vim /etc/mfs/mfschunkserver.cfg
······省略部分信息
###############################################
# MASTER CONNECTION OPTIONS                   #
###############################################
　
# labels string (default is empty - no labels)
# LABELS =
　
# local address to use for master connections (default is *, i.e. default local address)
# BIND_HOST = *
　
# MooseFS master host, IP is allowed only in single-master installations (default is mfsmaster)
　
# 修改为Master的IP地址
MASTER_HOST = 192.168.1.11
　
# MooseFS master command port (default is 9420)
# MASTER_PORT = 9420
　
　
# timeout in seconds for master connections. Value >0 forces given timeout, but when value is 0 then CS as    ks master for timeout (default is 0 - ask master)
# MASTER_TIMEOUT = 0
　
# delay in seconds before next try to reconnect to master if not connected # MASTER_RECONNECTION_DELAY = 5
　
# authentication string (used only when master requires authorization)
# AUTH_CODE = mfspassword

指定数据存储服务器分配给MFSMaster使用的文件位置

## vim /etc/mfs/mfshdd.cfg
······省略部分信息
# This file keeps definitions of mounting points (paths) of hard drives to use with chunk server.
# A path may begin with extra characters which swiches additional options:
#  - ‘*‘ means that this hard drive is ‘marked for removal‘ and all data will be replicated to other hard drives (usually on other chunkservers)
#  - ‘<‘ means that all data from this hard drive should be moved to other hard drives
#  - ‘>‘ means that all data from other hard drives should be moved to this hard drive
#  - ‘~‘ means that significant change of total blocks count will not mark this drive as damaged
# If there are both ‘<‘ and ‘>‘ drives then data will be moved only between these drives
# It is possible to specify optional space limit (after each mounting point), there are two ways of doing that:
#  - set space to be left unused on a hard drive (this overrides the default setting from mfschunkserver.cfg)
#  - limit space to be used on a hard drive
# Space limit definition: [0-9]*(.[0-9]*)?([kMGTPE]|[KMGTPE]i)?B?, add minus in front for the first option.
#
# Examples:
#
# use hard drive ‘/mnt/hd1‘ with default options:
#/mnt/hd1
#
# use hard drive ‘/mnt/hd2‘, but replicate all data from it:
#*/mnt/hd2
#
# use hard drive ‘/mnt/hd3‘, but try to leave 5GiB on it:
#/mnt/hd3 -5GiB
#
# use hard drive ‘/mnt/hd4‘, but use only 1.5TiB on it:
#/mnt/hd4 1.5TiB
#
# use hard drive ‘/mnt/hd5‘, but fill it up using data from other drives
#>/mnt/hd5
#
# use hard drive ‘/mnt/hd6‘, but move all data to other hard drives
#</mnt/hd6
#
# use hard drive ‘/mnt/hd7‘, but ignore significant change of hard drive total size (e.g. compressed file systems)
#~/mnt/hd7
　
#提供给MFS的分区目录
/data

创建目录并修改属主/属组，启动chunkserver服务,检查应用是否启动
```
mkdir /data
chown -R mfs:mfs /data
mfschunkserver start
ps -ef | grep mfs
```

Client：

添加键值

# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

添加库条目

# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

安装mfsmaster软件包
```
yum -y install moosefs-client
```

创建挂载点，加载fuse模块到内核，并挂载MFS

mkdir -p /mfs/data
modprobe fuse
mfsmount /mfs/data -H 192.168.1.11

MFS监控

　
通过yum安装方式已经默认安装好Mfscgiserv功能，它是同Python编写的一个web服务器，其监听端口为9425，可以在Master Server上通过mfscgiserv命令开启，然后利用浏览器打开就可以全面监控所有客户端挂载、Chunk Server、Master Server，以及客户端的各种操作等。
　
其中各部分的含义如下：

Info部分：显示了MFS的基本信息

Server部分：列出现有的Chunk Server

Disks部分：列出每一台Chunk Server的磁盘目录及使用量

Exports部分：列出被共享的目录，即可被挂载的目录

Mounts部分：显示被挂载的情况

Operations部分：显示正在执行的操作

Master Charts部分：显示Master Server的操作情况，包括读取、写入、创建目录、删除目录等

MFS常用操作

mfsgetgoal与mfssetgoal命令
　

目标是指文件被复制的份数，设定了复制的份数后就可以通过mfsgetgoal命令来证实，也可以通过mfssetgoal来改变设定。

mfscheckfile与mfsfileinfo命令

实际的副本分数可以通过mfscheckfile和mfsfileinfo命令来证实。

mfsdirinfo命令

整个目录树的内容摘要可以通过一个功能增强的、等同于“du -s”的命令mfsdirinfo来显示。

维护MFS

最重要的就是维护元数据服务器，而元数据服务器最重要的目录为/var/lib/mfs/,MFS数据的存储、修改、更新等操作变化都会记录咋这个目录的某个文件中，因此只要保证这个目录的数据安全，就能够保证整个MFS文件系统的安全性和可靠性。
/var/lib/mfs/目录下的数据由两部分组成：一部分是元数据服务器的改变日志，文件名称类似于changelog.*.mfs;另一部分是元数据文件metadata.mfs，运行mfsmaster时该文件会被命名为metadata.mfs.back。只要保证了这两部数据的安全，即使元数据服务器遭到致命×××，也可以通过备份的元数据文件来部署一套元数据服务器。

搭建mfs分布式文件管理系统(代码片段)

MFS原理MFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MFS的组成管理服务器Master：负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢... 查看详情

mfs分布式文件系统服务搭建(代码片段)

分布式原理通过计算机网络与节点相连，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。分布式文件系统的好处是集中访问、简化操作、数据容灾以及提高文件的存取... 查看详情

centos7下搭建mfs分布式文件系统(代码片段)

MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个服务器上，而呈现给用户的则是一个统一的资源。MFS文件系统的组成架构：元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据；元... 查看详情

mfs分布式文件系统的原理及环境搭建(代码片段)

...拥有冗余功能及动态扩容功能，能保证数据的安全性。`分布式原理：分布式文件系统（distributedfilesystem）是指文件系统管理的物质存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单说就是把一些分... 查看详情

mfs分布式文件系统搭建(代码片段)

MFS概述MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。优势1、高可靠（数据的多个拷贝被存储在不同的计算机上）2、通过附加新的计算机或者硬盘... 查看详情

社交网站部署——mfs分布式文件系统(代码片段)

案例概述某公司的社交网站采用PHP语言开发，为了管理PHP程序员开发的代码，上级领导要求搭建SVN服务器进行版本控制。社交网站的第一个版本部署在LNMP平台之上，前端为Nginx服务器，通过fastcgi协议访问后端的PHP服务器。为了... 查看详情

超简单yum仓库搭建安装mfs服务(代码片段)

MFS简介：MooseFS是一款具有冗余容错功能的分布式文件系统。它把数据分散在多台服务器上，确保一份数据多个备份副本，对外提供统一的结构。功能特性：对于标准的文件操作，MooseFS表现与其他类Unix文件系统一致。支持的通过... 查看详情

mfs分布式文件系统的部署(代码片段)

MFS分布式文件系统的部署MFS简介MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MFS文件系统的组成。元数据服务器（master）：负责管理文件系统，维护... 查看详情

详解mfs分布式存储系统(代码片段)

分布式原理分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的优点是集中访问、简化操作、数据容灾，以及提高了文件的存取性能。MFS分布式... 查看详情

mfs分布式文件系统(代码片段)

MFS原理MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。1）MFS文件系统的组成元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据。... 查看详情

mfs分布式文件系统(代码片段)

[mfs工作原理]分布式原理分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。.MFS原... 查看详情

mfs（moosefs分布式文件系统）(代码片段)

MFS（MooseFS分布式文件系统）作者：张首富时间：2020-05-22wx：y18163201MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。官网地址：http://www.moosefs.com/... 查看详情

mfs分布式文件系统(代码片段)

MFS简介MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MFS文件系统的组成架构元数据服务器（Master）：负责管理文件系统，维护元数据。元数据日... 查看详情

mfs分布式文件系统(代码片段)

一、MFS简介：MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。（1）优势：1、高可靠（数据的多个拷贝被存储在不同的计算机上）；2、通过附加新... 查看详情

企业实用——mfs网络分布式文件系统(代码片段)

-----------------------MFS----------------------(1)分布式原理分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网... 查看详情

mfs分布式文件系统(代码片段)

MFS分布式文件系统1、分布式理论分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说就是把一些分散的（分布在局域网各个计算机上）共享文件夹，集合... 查看详情

mfs分布式存储系统(代码片段)

一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的(分布在局域网内各个计算机上)共享文件... 查看详情

mfs分布式文件系统(代码片段)

一、MooseFSMooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。Moose文件系统（MooseFS）是由CoreTechnology开发的开源，POSIX兼容的分布式文件系统。MooseFS旨... 查看详情