正文 

当前位置： 首页 > 程序 > java教程

（转）原理到实现|k8s存储之nfs(代码片段)

wangle1001986 wangle1001986     2023-01-04     722

关键词：

转：https://mp.weixin.qq.com/s/Mrr1Rnl_594Gyyn9fHekjw

 

1NFS介绍

NFS是Network File System的简写，即网络文件系统，NFS是FreeBSD支持的文件系统中的一种。NFS基于RPC(Remote Procedure Call)远程过程调用实现，其允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序就可以像访问本地文件一样访问远端系统上的文件。NFS是一个非常稳定的，可移植的网络文件系统。具备可扩展和高性能等特性，达到了企业级应用质量标准。由于网络速度的增加和延迟的降低，NFS系统一直是通过网络提供文件系统服务的有竞争力的选择 。

 

1.1 NFS原理

NFS 使用RPC(Remote Procedure Call)的机制进行实现，RPC使得客户端可以调用服务端的函数。同时，由于有 VFS 的存在，客户端可以像使用其它普通文件系统一样使用 NFS 文件系统。经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS服务器执行相关的操作，并将操作结果返回给客户端。

 

技术分享图片

 

NFS服务主要进程包括：

  • rpc.nfsd：最主要的NFS进程，管理客户端是否可登录

  • rpc.mountd：挂载和卸载NFS文件系统，包括权限管理

  • rpc.lockd：非必要，管理文件锁，避免同时写出错

  • rpc.statd：非必要，检查文件一致性，可修复文件

 

NFS的关键工具包括：

  • 主要配置文件：/etc/exports；

  • NFS文件系统维护命令：/usr/bin/exportfs；

  • 共享资源的日志文件： /var/lib/nfs/*tab；

  • 客户端查询共享资源命令： /usr/sbin/showmount；

  • 端口配置： /etc/sysconfig/nfs。

 

1.2 共享配置

在NFS服务器端的主要配置文件为/etc/exports时，通过此配置文件可以设置共享文件目录。每条配置记录由NFS共享目录、NFS客户端地址和参数这3部分组成，格式如下：

[NFS共享目录] [NFS客户端地址1(参数1,参数2,参数3……)] [客户端地址2(参数1,参数2,参数3……)]

 

  • NFS共享目录：服务器上共享出去的文件目录；

  • NFS客户端地址：允许其访问的NFS服务器的客户端地址，可以是客户端IP地址，也可以是一个网段(192.168.64.0/24)；

  • 访问参数：括号中逗号分隔项，主要是一些权限选项。

 

1）访问权限参数

 

技术分享图片

 

2）用户映射参数 图表

 

技术分享图片

 

3）其它配置参数 图表

 

技术分享图片

 

2

NFS服务端配置

在nfs作为网络文件存储系统前，首先，需要安装nfs和rpcbind服务；接着，需要创建使用共享目录的用户；然后，需要对共享目录进行配置，这是其中相对重要和复杂的一个步骤；最后，需要启动rpcbind和nfs服务，以供应用使用。

 

2.1 安装nfs服务

1）通过yum目录安装nfs服务和rpcbind服务：

 

  1. $ yum -y install nfs-utils rpcbind

 

2）检查nfs服务是否正常安装

 

  1. $ rpcinfo -p localhost

 

2.2 创建用户

为NFS服务其添加用户，并创建共享目录，以及设置用户设置共享目录的访问权限：

 

  1. $ useradd  nfs

  2. $ mkdir -p /nfs-share

  3. $ chmod a+w /nfs-share

 

2.3 配置共享目录

在nfs服务器中为客户端配置共享目录：

 

  1. $ echo "/nfs-share 172.16.0.0(rw,async,no_root_squash)" >> /etc/exports

 

通过执行如下命令是配置生效：

 

  1. $exportfs -r

 

2.4 启动服务

1）由于必须先启动rpcbind服务，再启动nfs服务，这样才能让nfs服务在rpcbind服务上注册成功：

 

  1. $ systemctl start rpcbind

 

2）启动nfs服务：

 

  1. $ systemctl start nfs-server

 

3）设置rpcbind和nfs-server开机启动：

 

  1. $ systemctl enable rpcbind

  2.  

  3. $ systemctl enable nfs-server

 

2.5 检查nfs服务是否正常启动

 

  1. $ showmount -e localhost

  2.  

  3. $ mount -t nfs 127.0.0.1:/data /mnt

 

 

 

3

NFS作为Volume

nfs可以直接作为存储卷使用，下面是一个redis部署的YAML配置文件。在此示例中，redis在容器中的持久化数据保存在/data目录下；存储卷使用nfs，nfs的服务地址为：192.168.8.150，存储路径为：/k8s-nfs/redis/data。容器通过volumeMounts.name的值确定所使用的存储卷。

 

  1. apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2

  2. kind: Deployment

  3. metadata:

  4.  name: redis

  5. spec:

  6.  selector:

  7.    matchLabels:

  8.      app: redis

  9.  revisionHistoryLimit: 2

  10.  template:

  11.    metadata:

  12.      labels:

  13.        app: redis

  14.    spec:

  15.      containers:

  16.      # 应用的镜像

  17.      - image: redis

  18.        name: redis

  19.        imagePullPolicy: IfNotPresent

  20.        # 应用的内部端口

  21.        ports:

  22.        - containerPort: 6379

  23.          name: redis6379

  24.        env:

  25.        - name: ALLOW_EMPTY_PASSWORD

  26.          value: "yes"

  27.        - name: REDIS_PASSWORD

  28.          value: "redis"  

  29.        # 持久化挂接位置，在docker中

  30.        volumeMounts:

  31.        - name: redis-persistent-storage

  32.          mountPath: /data

  33.      volumes:

  34.      # 宿主机上的目录

  35.      - name: redis-persistent-storage

  36.        nfs:

  37.          path: /k8s-nfs/redis/data

  38.          server: 192.168.8.150

 

 

4

NFS作为PersistentVolum

在Kubernetes当前版本的中，可以创建类型为nfs的持久化存储卷，用于为PersistentVolumClaim提供存储卷。在下面的PersistenVolume YAML配置文件中，定义了一个名为nfs-pv的持久化存储卷，此存储卷提供了5G的存储空间，只能由一个PersistentVolumClaim进行可读可写操作。此持久化存储卷使用的nfs服务器地址为192.168.5.150，存储的路径为/tmp。

 

  1. apiVersion: v1

  2. kind: PersistentVolume

  3. metadata:

  4.  name: nfs-pv

  5. spec:

  6.  capacity:

  7.    storage: 5Gi

  8.  volumeMode: Filesystem

  9.  accessModes:

  10.  - ReadWriteOnce

  11.  persistentVolumeReclaimPolicy: Recycle

  12.  storageClassName: slow

  13.  mountOptions:

  14.  - hard

  15.  - nfsvers=4.1

  16.  # 此持久化存储卷使用nfs插件

  17.  nfs:

  18.    # nfs共享目录为/tmp

  19.    path: /tmp

  20.    # nfs服务器的地址

  21.    server: 192.168.5.150

 

通过执行如下的命令可以创建上述持久化存储卷：

 

  1. $ kubectl create -f path/nfs-pv.yaml

 

存储卷创建成功后将处于可用状态，等待PersistentVolumClaim使用。PersistentVolumClaim会通过访问模式和存储空间自动选择合适存储卷，并与其进行绑定。

 

5

NFS作为动态存储提供

5.1 部署nfs-provisioner

为nfs-provisioner实例选择存储状态和数据的存储卷，并将存储卷挂接到容器的/export 命令。

 

  1. ...

  2. volumeMounts:

  3.    - name: export-volume

  4.      mountPath: /export

  5. volumes:

  6.  - name: export-volume

  7.    hostPath:

  8.      path: /tmp/nfs-provisioner

  9. ...

 

为StorageClass选择一个供应者名称，并在deploy/kubernetes/deployment.yaml进行设置。

 

  1. args:

  2.  - "-provisioner=example.com/nfs"

  3. ...

 

完整的deployment.yaml文件内容如下：

 

  1. kind: Service

  2. apiVersion: v1

  3. metadata:

  4.  name: nfs-provisioner

  5.  labels:

  6.    app: nfs-provisioner

  7. spec:

  8.  ports:

  9.    - name: nfs

  10.      port: 2049

  11.    - name: mountd

  12.      port: 20048

  13.    - name: rpcbind

  14.      port: 111

  15.    - name: rpcbind-udp

  16.      port: 111

  17.      protocol: UDP

  18.  selector:

  19.    app: nfs-provisioner

  20. ---

  21.  

  22. apiVersion: extensions/v1beta1

  23. kind: Deployment

  24. metadata:

  25.  name: nfs-provisioner

  26. spec:

  27.  replicas: 1

  28.  strategy:

  29.    type: Recreate

  30.  template:

  31.    metadata:

  32.      labels:

  33.        app: nfs-provisioner

  34.    spec:

  35.      containers:

  36.        - name: nfs-provisioner

  37.          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8

  38.          ports:

  39.            - name: nfs

  40.              containerPort: 2049

  41.            - name: mountd

  42.              containerPort: 20048

  43.            - name: rpcbind

  44.              containerPort: 111

  45.            - name: rpcbind-udp

  46.              containerPort: 111

  47.              protocol: UDP

  48.          securityContext:

  49.            capabilities:

  50.              add:

  51.                - DAC_READ_SEARCH

  52.                - SYS_RESOURCE

  53.          args:

  54.            # 定义提供者的名称，存储类通过此名称指定提供者

  55.            - "-provisioner=nfs-provisioner"

  56.          env:

  57.            - name: POD_IP

  58.              valueFrom:

  59.                fieldRef:

  60.                  fieldPath: status.podIP

  61.            - name: SERVICE_NAME

  62.              value: nfs-provisioner

  63.            - name: POD_NAMESPACE

  64.              valueFrom:

  65.                fieldRef:

  66.                  fieldPath: metadata.namespace

  67.          imagePullPolicy: "IfNotPresent"

  68.          volumeMounts:

  69.            - name: export-volume

  70.              mountPath: /export

  71.      volumes:

  72.        - name: export-volume

  73.          hostPath:

  74.            path: /srv

 

在设置好deploy/kubernetes/deployment.yaml文件后，通过kubectl create命令在Kubernetes集群中部署nfs-provisioner。

 

  1. $ kubectl create -f path/deployment.yaml

 

5.2 创建StorageClass

下面是example-nfs的StorageClass配置文件，此配置文件定义了一个名称为nfs-storageclass的存储类，此存储类的提供者为nfs-provisioner。

 

  1. apiVersion: storage.k8s.io/v1

  2. kind: StorageClass

  3. metadata:

  4.  name: nfs-storageclass

  5.  provisioner: nfs-provisioner

 

通过kubectl create -f命令使用上面的配置文件创建：

 

  1. $ kubectl create -f deploy/kubernetes/class.yaml

  2. storageclass “example-nfs” created

 

在存储类被正确创建后，就可以创建PersistenetVolumeClaim来请求StorageClass，而StorageClass将会为PersistenetVolumeClaim自动创建一个可用PersistentVolume。

 

5.3 创建PersistenetVolumeClaim

PersistenetVolumeClaim是对PersistenetVolume的声明，即PersistenetVolume为存储的提供者，而PersistenetVolumeClaim为存储的消费者。下面是PersistentVolumeClaim的YAML配置文件，此配置文件通过metadata.annotations[].volume.beta.kubernetes.io/storage-class字段指定所使用的存储储类。

 

在此配置文件中，使用nfs-storageclass存储类为PersistenetVolumeClaim创建PersistenetVolume，所要求的PersistenetVolume存储空间大小为1Mi，可以被多个容器进行读取和写入操作。

 

  1. apiVersion: v1

  2. kind: PersistentVolumeClaim

  3. metadata:

  4.  name: nfs-pvc

  5.  annotations:

  6.    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"

  7. spec:

  8.  accessModes:

  9.  - ReadWriteMany

  10.  resources:

  11.    requests:

  12.      storage: 1Mi

 

通过kubectl create命令创建上述的持久化存储卷声明：

 

  1. $ kubectl create -f path/claim.yaml

 

5.4 创建使用PersistenVolumeClaim的部署

在这里定义名为busybox-deployment的部署YAML配置文件，使用的镜像为busybox。基于busybox镜像的容器需要对/mnt目录下的数据进行持久化，在YAML文件指定使用名称为nfs的PersistenVolumeClaim对容器的数据进行持久化。

 

  1. # This mounts the nfs volume claim into /mnt and continuously

  2. # overwrites /mnt/index.html with the time and hostname of the pod.

  3. apiVersion: v1

  4. kind: Deployment

  5. metadata:  

  6.  name: busybox-deployment

  7. spec:  

  8.  replicas: 2  

  9.  selector:    

  10.    name: busybox-deployment

  11.  template:    

  12.    metadata:      

  13.      labels:        

  14.        name: busybox-deployment    

  15.    spec:      

  16.      containers:      

  17.      - image: busybox        

  18.        command:          

  19.        - sh          

  20.        - -c          

  21.        - ‘while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done‘        

  22.        imagePullPolicy: IfNotPresent        

  23.        name: busybox        

  24.        volumeMounts:          

  25.        # name must match the volume name below          

  26.        - name: nfs            

  27.          mountPath: "/mnt"    

  28.     #

  29.     volumes:      

  30.     - name: nfs        

  31.       persistentVolumeClaim:          

  32.         claimName: nfs-pvc

 

通过kubectl create创建busy-deployment部署：

 

  1. $ kubectl create -f path/nfs-busybox-deployment.yaml

史上最全之k8s使用nfs作为存储卷的五种方式(代码片段)

文章目录史上最全之K8s使用nfs作为存储卷的五种方式在`deployment/statefulset`中直接使用创建类型为nfs的持久化存储卷NFSCSIDriver安装使用pv/pvc使用（静态配置）存储类使用（动态配置)NFSSubdirExternalProvisioner安装创建... 查看详情

kubernetes之k8s核心原理--第二篇(代码片段)

六、共享存储原理  Kubernetes对有状态或者对数据需要持久化的应用，不仅需要将容器内的目录挂载到宿主机的目录或者empDir临时存储卷，而且需要更加可靠的存储来保存应用产生的重要数据，以便于容器应用重建以后，... 查看详情

k8s之持续化存储卷nfs动态绑定(代码片段)

安装nfs服务这里安装在slave2一个节点上[root@k8s-slave2~]#yum-yinstallnfs-utilsrpcbind[root@k8s-slave2~]#cat/etc/exports/data/nfs/*(insecure,rw,async,no_root_squash)[root@k8s-slave2~]#chmod777/data/nfs/先启动rpcbind服务在启 查看详情

k8s之storageclass(代码片段)

...动挂载，看似没有什么问题，但细想一下，pvc在向pv申请存储空间时，是根据指定的pv名称，访问模式，容量大小来决定具体向那个pv来申请空间的，假设pv的容量为20G，定义的访问模式是WRO（只允许以读写的方式挂载到单个节点... 查看详情

云原生之kubernetes实战在k8s集群下部署wordpress(代码片段)

...ss使用场景二、检查本地kubernetes集群状态三、配置nfs共享存储1.安装nfs2.创建共享目录3.配置共享目录4.使配置生效5.重启nfs相关服务①设置nfs服务开机启动②重启nfs服务6.其他节点检查nfs共享四、安装 查看详情

云原生之kubernetes实战在k8s集群下搭建gitlab(代码片段)

...github和gitlab区别二、检查本地k8s集群状态三、安装nfs共享存储1.安装nfs2.创建共享目录3.配置共享目录4.使配置生效5.重启nfs相关服务①设置nfs服务开机启动②重启nfs服务6.其他节点检查nfs共享四、创建本地挂载目录五、部署gitlab1 查看详情

nfs共享存储(代码片段)

...userB不管是从哪台web中都可以访问到userA上传的资源。nfs原理首先当NFS启动后，就会 查看详情

kubernetes之存储卷(代码片段)

...的持久性，必须保证数据在外部存储在docker容器中，为了实现数据的持久性存储，在宿主机和容器内做映射，可以保证在容器的生命周期结束，数据依旧可以实现持久 查看详情

elasticsearch内部原理之分布式文档存储(代码片段)

ElasticSearch版本:2.x之前的文章中，我们已经知道如何存储数据到索引中以及如何检索它。但是我们掩盖了数据存储到集群中以及从集群中获取数据的具体实现的技术细节。1.路由文档到分片中当你索引一篇文档时，它会存储到一... 查看详情

k8s使用nfs的volume(代码片段)

...API对象捕获NFS，iSCSI或特定于云提供商的存储系统的存储实现的详细信息。PVC是由用户进行存储的请求。它类似于豆荚。容器消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源（CPU和内存）。声明可以请求特定的大小和... 查看详情

k8s之volumes持久化存储(代码片段)

k8s之数据持久化kubernetes存储卷：我们知道默认情况下容器的数据都是非持久化的，在容器销毁以后数据也跟着丢失，所以docker提供了volume机制以便将数据持久化存储。类似的，k8s提供了更强大的volume机制和丰富的插件，解决了... 查看详情

k8s无脑系列-nfs存储(简单版本)(代码片段)

k8s无脑系列（三）-NFS存储(简单版本)1.概念搞清楚pv,pvcpv=PersistentVolume持久化存储控制器，面向集群而不是namespace。pvc=PersistentVolumeClaim对接pod与pv，关系，官方说明APVCtoPVbindingisaone-to-onemapping,usingaClaimRefwhichisabi-directionalbindingbetweent... 查看详情

k8s中部署基于nfs的storageclass(代码片段)

...8s中部署基于nfs的StorageClass?storageclass相当于是一个动态的存储,即每个pod需要多少容量,直接在配置资源清单中声明即可;但是nfs默认是不支持storageclass动态存储的.?总结一下就是:?1.平时使用过程中,如果是静态的存储,那么过程是先... 查看详情

02-nfs存储服务(代码片段)

...端共享数据的文件目录为什么要使用数据存储共享服务？实现多台服务器之间数据共享实现多台服务器之间数据一致2、N 查看详情

k8s使用nfs-client-provisioner(代码片段)

nfs-client-provisioner是一个Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储这里的k8s版本为v1.16.9安装nfs工具yuminstallnfs-commonnfs-utils-yshowmount-e192.168.52.174#运行结果Exportlistfor192.168.52.174:/nfs*创建d 查看详情

5）nfs存储实时复制原理

项目案例：1、sudo集权分治的权限管理及命令行日志审计2、全网数据备份解决方案3、共享存储实时备份（共享存储的单点解决方案）第一个里程碑：1）实现从NFS客户端到rsync服务端的rsync服务部署。第二个里程碑：1）实现从NFS... 查看详情

kubernetes带你从头到尾捋一遍(代码片段)

...k8s技术实践Kubernetes软件架构❤Kubernetes安装KubernetesPod实现原理Kubernetes之Pod实现原理Harbor仓库企业级环境中基于Harbor搭建❤K8s服务发现Service服务Ingress服务K8s数据存储ConfigMapSecretVolumeK8s集群调度K8s常用命令Kubernetes工具使用参数K8s... 查看详情

在centos中搭建nfs(代码片段)

...储空间。在k8s中我们也可以使用NFS来作为我们的存储类，实现文件的持久化存储。安装接下来我们介绍一下如何在CentOS中安装NFS服务，以及如何在客户端机器挂载NFS。服务端操作系统：CentOS7.664bitIP地址：192.1 查看详情