50台集群架构配置介绍-3(nfs)

author author     2022-09-24     751

关键词:

企业NFS共享存储服务

介绍及作用位置:

  • 透过网路(一般是局域网)让不同的主机系统之间可以共享文件或目录。

  • NFS客户端(一般为应用服务器 :WEB 服务)可以透过挂载的方式将NFS服务器端共享的数据目录挂载到客户端本地系统中。从客户端本地来看,NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样,而实际上却是端的NFS服务器目录。

  • 互联网中小型网站集群架构后端常常用NFS进行数据共享,如果是大型网站,那么有可能还会用到更复的分布式文件系统,例如:Moosefs(mfs)GlusterFS,FastDFS

NFS服务部署服务器准备:

这边我们开三台虚拟机来实践

1. 10.0.0.31 (nfs01) 作为服务器 2. 10.0.0.41 (backup)作为Client 1 3. 10.0.0.8 (web01) 作为Client 2

  • 服务器环境系统:

[[email protected] ~]# cat /etc/redhat-release 

CentOS release 6.9 (Final)

[[email protected] ~]# uname -r

2.6.32-696.el6.x86_64

[[email protected] ~]# uname -m

x86_64

NFS 软体列表:

  • 要部署NFS服务,需要安装下面的软件包:
    注意,如果要让我们下载的yum留下来,以后可以做yum 仓库,可以这样配置

  1. nfs-utils
    NFS服务的主程序,包括rpc.nfsdrpc.mountd这两个 daemons和相关文档说明,以及执行命令文件等

  2. rpcbind
    Centos6.X
    下面RPC 的主程序。NFS可以视为一个RPC程序,在启动任何一个RPC程序之前,需要做好端口和功能的对应映射工作,这个映射工作就是由rpcbind服务来完成的。因此,在提供NFS服务之前必须先启动rpcbind服务才可以。 

[[email protected] yum]# cat /etc/yum.conf 

[main]

cachedir=/var/cache/yum/$basearch/$releasever

keepcache=1     ------>这边原本是0改成

debuglevel=2

logfile=/var/log/yum.log

exactarch=1

查看目前已经下载的yum 

[[email protected] yum]# tree /var/cache/yum/x86_64/6/|grep "rpm"

      ├── keyutils-1.4-5.el6.x86_64.rpm

      ├── libevent-1.4.13-4.el6.x86_64.rpm

      ├── libgssglue-0.1-11.el6.x86_64.rpm

      ├── nfs-utils-1.2.3-75.el6.x86_64.rpm

      └── nfs-utils-lib-1.1.5-13.el6.x86_64.rpm

       ├── libtirpc-0.2.1-13.el6_9.x86_64.rpm

       └── rpcbind-0.2.0-13.el6_9.1.x86_64.rpm

NFS 开启服务:

[[email protected] ~]# /etc/init.d/rpcbind start

Starting rpcbind:                                          [  OK  ]

[[email protected] ~]# netstat -tunlp | grep rpc

tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN      2974/rpcbind        

tcp        0      0 :::111                      :::*                        LISTEN      2974/rpcbind        

udp        0      0 0.0.0.0:605                 0.0.0.0:*                               2974/rpcbind        

udp        0      0 0.0.0.0:111                 0.0.0.0:*                               2974/rpcbind        

udp        0      0 :::605                      :::*                                    2974/rpcbind        

udp        0      0 :::111                      :::*                                    2974/rpcbind 


rpc 主端口是111


要怎么看有没有房源啊?

[[email protected] ~]# rpcinfo -p localhost

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

---->上面都只有自己的端口


开启nfs服务

[[email protected] ~]# /etc/init.d/nfs start

Starting NFS services:                                     [  OK  ]

Starting NFS quotas:                                       [  OK  ]

Starting NFS mountd:                                       [  OK  ]

Starting NFS daemon:                                       [  OK  ]

Starting RPC idmapd:                                       [  OK  ]


然后我们再看看rpc 有没有房了?

[[email protected] ~]# rpcinfo -p localhost 

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

    100011    1   udp    875  rquotad

    100011    2   udp    875  rquotad

    100011    1   tcp    875  rquotad

    100011    2   tcp    875  rquotad

    100005    1   udp  40802  mountd

    100005    1   tcp  46645  mountd

    100005    2   udp  53778  mountd

    100005    2   tcp  54941  mountd

    100005    3   udp  59941  mountd

    100005    3   tcp  40293  mountd

    100003    2   tcp   2049  nfs

    100003    3   tcp   2049  nfs

    100003    4   tcp   2049  nfs

    100227    2   tcp   2049  nfs_acl

    100227    3   tcp   2049  nfs_acl

    100003    2   udp   2049  nfs

    100003    3   udp   2049  nfs

    100003    4   udp   2049  nfs

    100227    2   udp   2049  nfs_acl

    100227    3   udp   2049  nfs_acl

    100021    1   udp  44455  nlockmgr

    100021    3   udp  44455  nlockmgr

    100021    4   udp  44455  nlockmgr

    100021    1   tcp  43293  nlockmgr

    100021    3   tcp  43293  nlockmgr

    100021    4   tcp  43293  nlockmgr

    

我们之前说过,每个进程都会有所谓的虚拟用户,当我们在yum安装时,变生成的下面的id 用户

[[email protected] ~]# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

[[email protected] ~]# id nfsnobody

uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)


[[email protected] ~]# chkconfig nfs on

[[email protected] ~]# chkconfig rpcbind on


总结:先启动rpcbind,再启动nfs服务。再把他们加入开机自启动


查看一下nfs rpc 的开机自启动部分:

[[email protected] ~]# ls /etc/rc.d/rc3.d/ | grep -E "nfs|rpc"

K61nfs-rdma

K69rpcsvcgssd

S13rpcbind

S14nfslock

S19rpcgssd

S30nfs

实践配置NFS

NFS服务的默认配置文件路径为:/etc/exports ,并且默认为空的。

[[email protected] ~]# ls -l /etc/exports

-rw-r--r--. 1 root root 0 Jan 12  2010 /etc/exports

  • 格式:
    NFS 共享目录 NFS客户端地址

EXAMPLE

       # sample /etc/exports file

       /               master(rw) trusty(rw,no_root_squash)

       /projects       proj*.local.domain(rw)

       /usr            *.local.domain(ro) @trusted(rw)

       /home/joe       pc001(rw,all_squash,anonuid=150,anongid=100)

       /pub            *(ro,insecure,all_squash)

       /srv/www        -sync,rw server @trusted @external(ro)

       /foo            2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)

       /build          buildhost[0-9].local.domain(rw)

上述各个列的参数含义如下:

  1. NFS 共享的目录:为NFS服务端要共享的实际目录,要用绝对路径,如(/data)。注意共享目录的本地权限,如果需要读写共享,一定要让本地目录可以被NFS客户端的用户(nfsnobody)读写。

  2. NFS 客户端地址:为NFS服务端授权的可访问共享目录的NFS客户端地址,可以为单独的IP地址或主机名、域名等 ,也可以为整个网段地址,还可以用“*” 来匹配所有客户端服务器,这里所谓的客户端一般来说是前端的业务服务器,例如:web 服务。

  3. 权限参数集: 对授权的NFS客户端的访问权限设置

[[email protected] ~]# mkdir /data -p

[[email protected] ~]# id nfsnobody

uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)

[[email protected] ~]# ls -ld /data

drwxr-xr-x. 2 root root 4096 Oct 13 14:33 /data

[[email protected] ~]# chown -R nfsnobody.nfsnobody /data

[[email protected] ~]# ls -ld /data                      

drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Oct 13 14:33 /data

[[email protected] ~]# vim /etc/exports

[[email protected] ~]# cat /etc/exports

 #shared /data by oldboy for bingbing at 20171013

/data   172.16.1.0/24(rw,sync)


这样上述的基本配置就处理完了。配置完后,要检查一下状态是否正确:


[[email protected] ~]# /etc/init.d/rpcbind status

rpcbind (pid  2974) is running...

[[email protected] ~]# /etc/init.d/nfs status    

rpc.svcgssd is stopped

rpc.mountd (pid 3033) is running...

nfsd (pid 3049 3048 3047 3046 3045 3044 3043 3042) is running...

rpc.rquotad (pid 3028) is running...

[[email protected] ~]# rpcinfo -p localhost

program vers proto   port  service

 100000    4   tcp    111  portmappe

...不全部列出

[[email protected] ~]# /etc/init.d/nfs reload   (平滑重启服务)


 **上面的平滑重启命令 等价于 exportfs -rv **       

上面平滑重启后,我们要检查服务到底有没有真正挂载上去: 

[[email protected] ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24    ---->有出现这个,就表示服务端是启动正常的!

企业生产场景 NFS exports 配置实例 配置(客户端):

这边我们的环境是在10.0.0.8(web01)

客户端一样要先安装:nfs-utils , rpcbind 软件包

[[email protected] ~]# /etc/init.d/rpcbind start

[[email protected] ~]# /etc/init.d/rpcbind status

rpcbind (pid  1210) is running...

[[email protected] ~]# chkconfig rpcbind on

[[email protected] ~]# chkconfig --list rpcbind

rpcbind         0:off   1:off   2:on    3:on    4:on    5:on    6:of


连线检查:

[[email protected] ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24

[[email protected] ~]# telnet 172.16.1.31 111

Trying 172.16.1.31...

Connected to 172.16.1.31.


挂载

[[email protected] ~]# mount -t nfs 172.16.1.31:/data /mnt

[[email protected] ~]# df -h

Filesystem         Size  Used Avail Use% Mounted on

/dev/sda3          6.6G  1.5G  4.8G  23% /

tmpfs              491M     0  491M   0% /dev/shm

/dev/sda1          190M   35M  146M  19% /boot

172.16.1.31:/data  6.6G  1.6G  4.7G  25% /mnt


测试:

[[email protected] mnt]# touch oldboy.txt

[[email protected] mnt]# echo "good" >> oldboy.txt 


回到服务器里面看:

[[email protected] ~]# ls /data/

oldboy.txt

[[email protected] ~]# cat /data/oldboy.txt 

good

本文出自 “我的Linux之夢” 博客,请务必保留此出处http://12098022.blog.51cto.com/12088022/1976698

kubernetes集群搭建zabbix监控平台(代码片段)

kubernetes集群搭建Zabbix监控平台一、zabbix介绍1.zabbix简介2.zabbix特点3.zabbix的主要功能4.zabbix架构图二、检查本地k8s环境1.检查系统pod运行状态2.检查node节点状态三、配置nfs共享存储1.安装nfs2.创建共享目录3.配置共享目录4..启动相关... 查看详情

elkstack集群架构设计

一、ELKStack介绍与入门实践二、Elasticsearch集群架构图 服务器配置:Centos6.6x86_64CPU:1核心MEM:2G(做实验,配置比较低一些)注:这里配置elasticsearch集群用了3台服务器,可以根据自己的实际情况进行调整。三、开始安装配置n... 查看详情

期中集群架构-第六章-ansible批量管理服务介绍

期中集群架构-第六章-ansible批量管理服务介绍======================================================================01.批量管理服务知识介绍aansible是一个基于Python开发的自动化运维工具bansible是一个基于SSH协议实现远程管理的工具cansible软件可... 查看详情

老男孩教育运维班50-100台规模集群全网数据备份项目实战

老男孩教育运维班50-100台规模集群全网数据备份解决方案项目要求:1、全体学员上机实践考试,完成后由排长或班长或助教打分。2、时间:60分钟,抄袭别人0分。3、本项目提供免费实战讲解视频:http://edu.51cto.com/course/course_id-3... 查看详情

kubernetes集群部署nfs-subdir-external-provisioner存储插件(代码片段)

文章目录一、搭建NFS服务器1、背景介绍2、配置要求3、配置NFS服务器3.1、配置环境3.2、安装nfs-utils和rpcbind3.3、创建存储的文件夹3.4、配置NFS3.5、设置开机启动并启动3.6、查看是否有可用的NFS地址4、客户端配置4.1、安装nfs-utils和r... 查看详情

3台机器配置hadoop集群_hadoop+hbase分布式集群架构

安装搭建Hadoop1、配置说明本次集群搭建共三台机器,具体说明下:主机名IP说明nn01192.168.1.51DataNode、NodeManager、ResourceManager、NameNodedn01192.168.1.52DataNode、NodeManager、SecondaryNameNodedn02192.168.1.53DataNode、NodeManager2、安装前准备2.1... 查看详情

14.1nfs介绍14.2nfs服务端安装配置14.3nfs配置选项

  NFS服务会经常用到,它用于在网络上共享存储。举例来说,假如有3台机器A、B和C,它们需要访问同一个目录,且目录中都是图片。传统的做法是把这些图片分别放到A、B、C中,但若使用NFS,只需要把图片放到A上,然后A共享... 查看详情

kubernetes集群部署nfs-subdir-external-provisioner存储插件(代码片段)

...FS服务器1、背景介绍Kubernetes对Pod进行调度时,以当时集群中各节点的可用资源作为主要依据,自动选择某一个可用的节点,并将Pod分配到该节点上。在这种情况下,Pod中容器数据的持久化如果存储在所在节点的磁... 查看详情

kubernetes集群搭建efk日志收集平台(代码片段)

kubernetes集群搭建efk日志收集平台一、efk介绍1.efk简介2.Elasticsearch介绍①Elasticsearch简介②Elasticsearch的特点3.Filebeat介绍①Filebeat简介②Fluentd简介③Fluentd作用4.Kibana介绍5、efk的架构图二、检查本地kubernetes集群状态三、配置默认存储1... 查看详情

mysql主从架构

...目录一、实验目的与环境二、基础环境介绍三、搭建主从集群1、理论基础1、数据安全2、读写分离3、故障转移-高可用2、同步的原理3、搭建主从集群3.1配置master主服务器3.2配置slave从服务3.3主从集群测试3.4集群搭建扩展:1、全... 查看详情

flinksql+flinkcdc(代码片段)

...口函数流程:FlinkCDC读取MysqlBinLog,增删改同步写入Mysql表。集群模式为Flink的Standalone模式,不安装Hadoop部署阶段基础配置每台机器防火墙关闭配置静态ip地址两台机器能互相免密登录配置hosts实现主机名映射ip地址实现Xshell连接... 查看详情

nfs上部分

...samba用于办公(桌面运维),而我们真正做的是中小网络集群架构、后端常用NFS进行数据共享3网络环境在企业中的应用场景(①集群:服务器很高端的电脑,商用的高端电脑是服务器,一台服务器功能在强大,能力也是有 查看详情

18.1集群介绍;18.2keepalived介绍;18.3-18.5用keepalived配置

18.1集群介绍1.根据功能划分为两大类:高可用和负载均衡2.高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提供服务3.实现高可用的开源软件有:heartbeat、keepalived负载均衡... 查看详情

14.1nfs介绍14.2nfs服务端安装配置14.3nfs配置选项

...os6之前的版本叫portmap之后的版本叫rpcbind14.2NFS服务端安装配置首先要准备2台机器,一台是服务端ip:192.168.133.130,一台是客户端ip:192.168.133.131在服务端安装yuminstall-ynfs-utilsrpcbind客户端也是安装yuminstall-ynfs-utils查看一下2台机器是否... 查看详情

lvs负载均衡集群架构介绍

...请求数据分担到(尽可能平均分配)后端所有功能同等的集群的节点上,同样也是为了解决单台服务器故障问题,从而提高用户的访问体验。1、LVS的介绍LVS(linuxvirtualserver)LINUX虚拟服务器,是一个虚拟的服务器集群系统,可以... 查看详情

基于lamp架构实现web网站高可用集群

1.安装7台主机,配置主机名网络,关闭防火墙和selinux2.两台nginx主机,配置网络源安装Nginx 和 keeplived(热备)3.两台apache主机,配置本地源安装,httpd和php php-mysql4.两台mysql主机,配置raid5,创建目录并挂载到/... 查看详情

六十集群介绍keepalived介绍用keepaliver配置高可用集群

六十一、集群介绍、keepalived介绍、用keepaliver配置高可用集群一、集群介绍根据功能划分为两大类:高可用和负载均衡。高可用集群通常为两台服务器,一台工作,另外一台作为冗余,当提供服务的机器宕机,冗余将接替继续提... 查看详情

集群介绍keepalived介绍用keepalived配置高可用集群

集群介绍Linux集群根据功能划分为两大类:高可用和负载均衡。1、高可用集群通常为2台服务器,一台工作,另一台作为冗余,当提供服务的机器宕机时,冗余将接替继续提供服务。实现高可用的开源软件有:heartbeat、Keepalived,... 查看详情