在K8S中部署NFS服务器并在K8S集群外使用NFS

背景说明

有这样一个场景,我们需要使用多个NFS Server来做负载均衡,Server中保存的文件只读,所以不用考虑数据同步。

一种可能的实现方式是在物理服务器上安装NFS Server,同时安装负载均衡软件来实现(如LVS等),配置起来比较繁琐。

这里考虑在kubernetes集群部署NFS server三副本,同时安装metallb实现负载均衡。

安装负载均衡器

由于这里使用的是rke2搭建的kubernetes集群,需要编辑/etc/rancher/rke2/config.yaml文件,增加如下配置后,重启rke2

bash 复制代码
kube-proxy-arg: # 不指定的话,默认是 iptables 模式
  - proxy-mode=ipvs
  - ipvs-strict-arp=true

helm一键安装metallb

bash 复制代码
helm repo add metallb https://metallb.github.io/metallb
helm install metallb metallb/metallb

创建L2Advertisement,使集群外的服务器也可以访问NFS Server

cat<<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: first-pool
spec:
  addresses:
  - 192.168.122.20-192.168.122.24
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: example
EOF

在kubernetes集群中部署NFS Server

bash 复制代码
cat<<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-server
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nfs-server
  template:
    metadata:
      labels:
        app: nfs-server
    spec:
      containers:
      - name: nfs-server
        image: k8s.gcr.io/volume-nfs:0.8
        ports:
        - name: nfs
          containerPort: 2049
        - name: mountd
          containerPort: 20048
        - name: rpcbind
          containerPort: 111
        securityContext:
          privileged: true
        volumeMounts:
        - name: storage
          mountPath: /exports
      volumes:
      - name: storage
        hostPath:
          path: /data/nfs # store all data in "/data/nfs" directory of the node where it is running
          type: DirectoryOrCreate # if the directory does not exist then create it
---
apiVersion: v1
kind: Service
metadata:
  name: nfs-service
spec:
  ports:
  - name: nfs
    port: 2049
  - name: mountd
    port: 20048
  - name: rpcbind
    port: 111
  selector:
    app: nfs-server # must match with the label of NFS pod
  type: LoadBalancer
EOF

使用负载均衡测试nfs记录

bash 复制代码
# kubectl get svc | grep nfs
nfs-service               LoadBalancer   10.43.223.162   192.168.122.21   2049:31390/TCP,20048:31442/TCP,111:31111/TCP   23h

集群外的客户端挂载nfs

bash 复制代码
mount.nfs4  -onolock 192.168.122.21:/ /mnt
ll /mnt

参考链接:

https://github.com/appscode/third-party-tools/blob/master/storage/nfs/README.md

https://metallb.universe.tf/installation/

https://www.qiniu.com/qfans/qnso-53419624

相关推荐
渲染101专业云渲染1 分钟前
川翔云电脑优势总结
服务器·3d·电脑·blender·maya
chian-ocean19 分钟前
Linux 文件缓冲区:高效数据访问的幕后推手
linux·运维·服务器
加油=^_^=21 分钟前
【Linux】进程优先级 | 进程调度(三)
linux·运维·服务器
橘子味的茶二30 分钟前
高级系统架构师--第十章:计算机网络
服务器·计算机网络·系统架构
Dontla44 分钟前
Docker run --add-host参数解析(在容器启动时向/etc/hosts文件中添加自定义的主机名与IP映射)(适用于临时调试或测试)
tcp/ip·docker·容器
西西小飞龙1 小时前
Docker和K8S中pod、services、container的介绍和关系
docker·容器·kubernetes
吃汤圆的抹香鲸1 小时前
GoLand 安装包 绿色版 Win,Mac,Linux 包含IntelliJ全家桶 专为Go语言设计的集成开发环境(IDE)
linux·windows·macos·go·intellij-idea·go1.19
紫菜(Nori)1 小时前
短连接服务器压测-wrk
服务器·压力测试
追寻光1 小时前
Cannot find a valid baseurl for repo: base/7/x86_64
linux
元气满满的热码式1 小时前
Docker数据卷操作实战
linux·运维·docker·云原生·容器