K8s Docker实践二

在上文 K8s Docker实践一 中我们已经基于K8s实现了最简部署,下面我们对K8s进行深入学习。

云原生-k8s核心概念

  • namespace

    Namespace是kubernetes系统中的一种非常重要资源,它的主要作用是用来实现多套环境的资源隔离或者多租户的资源隔离

  • Pod

    Pod可以认为是容器的封装,一个Pod中可以存在一个或者多个容器。Pod是k8s中最小的可部署单元。

  • Deployment

    kubernetes很少直接控制Pod,一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理,确保pod资源符合预期的状态,当pod的资源出现故障时,会尝试进行重启或重建pod。

  • Service

    Service可以看作是一组同类Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡。

基础操作

namespace

默认情况下,kubernetes集群中的所有的Pod都是可以相互访问的。但是在实际中,可能不想让两个Pod之间进行互相的访问,那此时就可以将两个Pod划分到不同的namespace下。

kubernetes通过将集群内部的资源分配到不同的Namespace中,可以形成逻辑上的"组",以方便不同的组的资源进行隔离使用和管理。

可以通过kubernetes的授权机制,将不同的namespace交给不同租户进行管理,这样就实现了多租户的资源隔离。此时还能结合kubernetes的资源配额机制,限定不同租户能占用的资源,例如CPU使用量、内存使用量等等,来实现租户可用资源的管理。

kubernetes在集群启动之后,会默认创建4个namespace:

java 复制代码
# kubectl  get namespace

NAME              STATUS   AGE
default           Active   45h     #  所有未指定Namespace的对象(容器)都会被分配在default命名空间
kube-node-lease   Active   45h     #  集群节点之间的心跳维护,v1.13开始引入
kube-public       Active   45h     #  此命名空间下的资源可以被所有人访问(包括未认证用户)
kube-system       Active   45h     #  所有由Kubernetes系统创建的资源都处于这个命名空间

下面来看namespace资源(简写ns)的具体操作:

1,查看

java 复制代码
# 1 查看所有的ns 
[root@master ~]# kubectl get ns

NAME              STATUS   AGE
default           Active   45h
kube-node-lease   Active   45h
kube-public       Active   45h     
kube-system       Active   45h     

# 2 查看指定的ns  
[root@master ~]# kubectl get ns default

NAME      STATUS   AGE
default   Active   45h

# 3 指定输出格式  命令:kubectl get ns 名称  -o 格式参数
# kubernetes支持的格式有很多,比较常见的是wide、json、yaml(wide显示更多详细参数,json,yaml是网页格式)
[root@master ~]# kubectl get ns default -o yaml

apiVersion: v1
kind: Namespace
metadata:
  creationTimestamp: "2021-05-08T04:44:16Z"
  name: default
  resourceVersion: "151"
  selfLink: /api/v1/namespaces/default
  uid: 7405f73a-e486-43d4-9db6-145f1409f090
spec:
  finalizers:
  - kubernetes
status:
  phase: Active
  
# 4 查看ns详情  命令:kubectl describe ns 名称
[root@master ~]# kubectl describe ns default
Name:         default
Labels:       <none>
Annotations:  <none>
Status:       Active  # Active 命名空间正在使用中  Terminating 正在删除命名空间

# ResourceQuota 针对namespace做的资源限制
# LimitRange针对namespace中的每个组件做的资源限制
No resource quota.
No LimitRange resource.

2,创建删除

java 复制代码
# 创建namespace
[root@master ~]# kubectl create ns dev
namespace/dev created

# 删除namespace
[root@master ~]# kubectl delete ns dev
namespace "dev" deleted

3,使用配置文件(.yaml)进行管理

java 复制代码
apiVersion: v1
kind: Namespace
metadata:
  name: dev

创建:kubectl create -f ns-dev.yaml

删除:kubectl delete -f ns-dev.yaml

Pod

Pod可以认为是容器的封装,一个Pod中可以存在一个或者多个容器。

kubernetes在集群启动之后,集群中的各个组件也都是以Pod方式运行的。可以通过下面命令查看:

java 复制代码
[root@master ~]# kubectl get pod -n kube-system
NAMESPACE     NAME                             READY   STATUS    RESTARTS   AGE
kube-system   coredns-6955765f44-68g6v         1/1     Running   0          2d1h
kube-system   coredns-6955765f44-cs5r8         1/1     Running   0          2d1h
kube-system   etcd-master                      1/1     Running   0          2d1h
kube-system   kube-apiserver-master            1/1     Running   0          2d1h
kube-system   kube-controller-manager-master   1/1     Running   0          2d1h
kube-system   kube-flannel-ds-amd64-47r25      1/1     Running   0          2d1h
kube-system   kube-flannel-ds-amd64-ls5lh      1/1     Running   0          2d1h
kube-system   kube-proxy-685tk                 1/1     Running   0          2d1h
kube-system   kube-proxy-87spt                 1/1     Running   0          2d1h
kube-system   kube-scheduler-master            1/1     Running   0          2d1h

1, 创建并运行

kubernetes没有提供单独运行Pod的命令,都是通过Pod控制器来实现的

java 复制代码
# 命令格式: kubectl run (pod控制器名称) [参数] 
# --image  指定Pod的镜像
# --port   指定端口
# --namespace  指定namespace
[root@master ~]# kubectl run nginx --image=nginx:latest --port=80 --namespace dev 
deployment.apps/nginx created   
(此处就新建了一个名为nginx的pod控制器,而生成的pod名为nginx-****-****)

2, 查看pod信息

java 复制代码
# 查看Pod基本信息
[root@master ~]# kubectl get pods -n dev     //这个pod加不加s都可以
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          43s

# 查看Pod的详细信息
[root@master ~]# kubectl describe pod nginx -n dev
Name:         nginx
Namespace:    dev
Priority:     0
Node:         node1/192.168.5.4
Start Time:   Wed, 08 May 2021 09:29:24 +0800
Labels:       pod-template-hash=5ff7956ff6
              run=nginx
Annotations:  <none>
Status:       Running
IP:           10.244.1.23
IPs:
  IP:           10.244.1.23
Controlled By:  ReplicaSet/nginx
Containers:
  nginx:
    Container ID:   docker://4c62b8c0648d2512380f4ffa5da2c99d16e05634979973449c98e9b829f6253c
    Image:          nginx:latest
    Image ID:       docker-pullable://nginx@sha256:485b610fefec7ff6c463ced9623314a04ed67e3945b9c08d7e53a47f6d108dc7
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Wed, 08 May 2021 09:30:01 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-hwvvw (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-hwvvw:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-hwvvw
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type    Reason     Age        From               Message
  ----    ------     ----       ----               -------
  Normal  Scheduled  <unknown>  default-scheduler  Successfully assigned dev/nginx-5ff7956ff6-fg2db to node1
  Normal  Pulling    4m11s      kubelet, node1     Pulling image "nginx:latest"
  Normal  Pulled     3m36s      kubelet, node1     Successfully pulled image "nginx:latest"
  Normal  Created    3m36s      kubelet, node1     Created container nginx
  Normal  Started    3m36s      kubelet, node1     Started container nginx

3, 访问Pod

java 复制代码
# 获取podIP
[root@master ~]# kubectl get pods -n dev -o wide
NAME    READY   STATUS    RESTARTS   AGE    IP             NODE    ... 
nginx   1/1     Running   0          190s   10.244.1.23   node1   ...

#访问pod中部署的服务
[root@master ~]# curl 10.244.1.23:80

<!DOCTYPE html>
<html>
<head>
	<title>Welcome to nginx!</title>
</head>
<body>
	<p><em>Thank you for using nginx.</em></p>
</body>
</html>

4, 删除指定Pod

java 复制代码
# 删除指定Pod
[root@master ~]# kubectl delete pod nginx -n dev
pod "nginx" deleted

# 此时,显示删除Pod成功,但是再查询,发现又新产生了一个 
[root@master ~]# kubectl get pods -n dev
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          21s

# 这是因为当前Pod是由Pod控制器创建的,控制器会监控Pod状况,一旦发现Pod死亡,会立即重建
# 此时要想删除Pod,必须删除Pod控制器

# 先来查询一下当前namespace下的Pod控制器
[root@master ~]# kubectl get deploy -n  dev     //deploy加不加ment都可以
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   1/1     1            1           9m7s

# 接下来,删除此PodPod控制器
[root@master ~]# kubectl delete deploy nginx -n dev
deployment.apps "nginx" deleted

# 稍等片刻,再查询Pod,发现Pod被删除了
[root@master ~]# kubectl get pods -n dev
No resources found in dev namespace.

5,配置操作

创建一个pod-nginx.yaml,内容如下:

java 复制代码
apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
spec:
  containers:
  - image: nginx:latest
    name: pod
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

创建:kubectl create -f pod-nginx.yaml

删除:kubectl delete -f pod-nginx.yaml

Label

Label是kubernetes系统中的一个重要概念。它的作用就是在资源上添加标识,用来对它们进行区分和选择。

Label的特点:

  • 一个Label会以key/value键值对的形式附加到各种对象上,如Node、Pod、Service等等
  • 一个资源对象可以定义任意数量的Label ,同一个Label也可以被添加到任意数量的资源对象上去
  • Label通常在资源对象定义时确定,当然也可以在对象创建后动态添加或者删除

可以通过Label实现资源的多维度分组,以便灵活、方便地进行资源分配、调度、配置、部署等管理工作。一些常用的Label 示例如下:

  • 版本标签:"version":"release", "version":"stable"...
  • 环境标签:"environment":"dev","environment":"test","environment":"pro"
  • 架构标签:"tier":"frontend","tier":"backend"

Label Selector(标签选择器)用于查询和筛选拥有某些标签的资源对象

当前有两种Label Selector:

  • 基于等式的Label Selector
  • 基于集合的Label Selector

标签的选择条件可以使用多个,此时将多个Label Selector进行组合,使用逗号","进行分隔即可。例如:

java 复制代码
name=slave,env!=production
name not in (frontend),env!=production

1,命令方式

java 复制代码
# 为pod资源打标签
[root@master ~]# kubectl label pod nginx-pod version=1.0 -n dev
pod/nginx-pod labeled

# 为pod资源更新标签(--overwrite)
[root@master ~]# kubectl label pod nginx-pod version=2.0 -n dev --overwrite
pod/nginx-pod labeled

# 查看标签(--show-labels)
[root@master ~]# kubectl get pod nginx-pod  -n dev --show-labels
NAME        READY   STATUS    RESTARTS   AGE   LABELS
nginx-pod   1/1     Running   0          10m   version=2.0

# 筛选标签(-l 标签对)
[root@master ~]# kubectl get pod -n dev -l version=2.0  --show-labels
NAME        READY   STATUS    RESTARTS   AGE   LABELS
nginx-pod   1/1     Running   0          17m   version=2.0

[root@master ~]# kubectl get pod -n dev -l version!=2.0 --show-labels
No resources found in dev namespace.

#删除标签(指定pod 标签的键加一个减号)
[root@master ~]# kubectl label pod nginx-pod version- -n dev
pod/nginx-pod labeled

2,配置方式

java 复制代码
apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
  labels:
    version: "3.0"    //标签一
    env: "test"		  //标签二
spec:
  containers:
  - image: nginx:latest
    name: pod
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

kubectl apply -f pod-nginx.yaml

Deployment

在kubernetes中,Pod是最小的控制单元,但是kubernetes很少直接控制Pod,一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理,确保pod资源符合预期的状态,当pod的资源出现故障时,会尝试进行重启或重建pod。

1,命令操作

java 复制代码
# 命令格式: kubectl create deployment 名称  [参数] 
# --image  指定pod的镜像
# --port   指定端口
# --replicas  指定创建pod数量
# --namespace  指定namespace

[root@master ~]# kubectl run nginx --image=nginx:latest --port=80 --replicas=3 -n dev
deployment.apps/nginx created

# 查看创建的Pod
[root@master ~]# kubectl get pods -n dev
NAME                     READY   STATUS    RESTARTS   AGE
nginx-5ff7956ff6-6k8cb   1/1     Running   0          19s
nginx-5ff7956ff6-jxfjt   1/1     Running   0          19s
nginx-5ff7956ff6-v6jqw   1/1     Running   0          19s

# 查看deployment的信息(简写为deploy)
[root@master ~]# kubectl get deploy -n dev
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   3/3     3            3           2m42s

# UP-TO-DATE成功升级的副本数量,AVAILABLE可用副本的数量
[root@master ~]# kubectl get deploy -n dev -o wide
NAME    READY UP-TO-DATE  AVAILABLE   AGE     CONTAINERS   IMAGES              SELECTOR
nginx   3/3     3         3           2m51s   nginx        nginx:latest        run=nginx

# 查看deployment的详细信息
[root@master ~]# kubectl describe deploy nginx -n dev
Name:                   nginx
Namespace:              dev
CreationTimestamp:      Wed, 08 May 2021 11:14:14 +0800
Labels:                 run=nginx
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               run=nginx
Replicas:               3 desired | 3 updated | 3 total | 3 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:  run=nginx
  Containers:
   nginx:
    Image:        nginx:latest
    Port:         80/TCP
    Host Port:    0/TCP
    Environment:  <none>
    Mounts:       <none>
  Volumes:        <none>
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  <none>
NewReplicaSet:   nginx-5ff7956ff6 (3/3 replicas created)
Events:
  Type    Reason             Age    From                   Message
  ----    ------             ----   ----                   -------
  Normal  ScalingReplicaSet  5m43s  deployment-controller  Scaled up replicaset nginx-5ff7956ff6 to 3
  
# 删除 
[root@master ~]# kubectl delete deploy nginx -n dev
deployment.apps "nginx" deleted

2,配置操作

java 复制代码
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - image: nginx:latest
        name: nginx
        ports:
        - containerPort: 80
          protocol: TCP

template:相当于模板(有点java构造函数的味道,deployment通过tmplate格式,生成pod)

replicas: 3------指副本数量

然后就可以执行对应的创建和删除命令了:

创建:kubectl create -f deploy-nginx.yaml

删除:kubectl delete -f deploy-nginx.yaml

Service

上面已经能够利用Deployment来创建一组Pod来提供具有高可用性的服务。虽然每个Pod都会分配一个单独的Pod IP,然而却存在如下两问题:

  • Pod IP 会随着Pod的重建产生变化
  • Pod IP 仅仅是集群内可见的虚拟IP,外部无法访问

这样对于访问这个服务带来了难度。因此,kubernetes设计了Service来解决这个问题。

Service可以看作是一组同类Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡。

1,创建集群内部可访问的Service

java 复制代码
# 暴露Service(通过暴露pod管理器deployment来暴露其管理的pod)
[root@master ~]# kubectl expose deploy nginx --name=svc-nginx1 --type=ClusterIP --port=80 --target-port=80 -n dev
service/svc-nginx1 exposed
#--type=ClusterIP指定服务类型为集群内部IP------ClusterIP


# 查看service(可以简写为svc)
[root@master ~]# kubectl get svc svc-nginx1 -n dev -o wide
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE     SELECTOR
svc-nginx1   ClusterIP   10.109.179.231   <none>        80/TCP    3m51s   run=nginx

# 这里产生了一个CLUSTER-IP,这就是service的IP,在Service的生命周期中,这个地址是不会变动的
# 可以通过这个IP访问当前service对应的POD(只能在当前集群内的几个结点上使用)
[root@master ~]# curl 10.109.179.231:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body>
<h1>Welcome to nginx!</h1>
.......
</body>
</html>

2,创建集群外部也可访问的Service

java 复制代码
# 上面创建的Service的type类型为ClusterIP,这个ip地址只用集群内部可访问
# 如果需要创建外部也可以访问的Service,需要修改type为NodePort

[root@master ~]# kubectl expose deploy nginx --name=svc-nginx2 --type=NodePort --port=80 --target-port=80 -n dev
service/svc-nginx2 exposed

# 此时查看,会发现出现了NodePort类型的Service,而且有一对Port(80:31928/TC)
[root@master ~]# kubectl get svc  svc-nginx2  -n dev -o wide
NAME          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE    SELECTOR
svc-nginx2    NodePort    10.100.94.0      <none>        80:31928/TCP   9s     run=nginx

# 接下来就可以通过集群外的主机访问 节点IP:31928访问服务了
# 例如在的电脑主机上通过浏览器访问下面的地址
http://192.168.90.100:31928/

3,配置方式

创建一个svc-nginx.yaml,内容如下:

java 复制代码
apiVersion: v1
kind: Service
metadata:
  name: svc-nginx
  namespace: dev
spec:
  clusterIP: 10.109.179.231 #固定svc的内网ip
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: ClusterIP

创建:kubectl create -f svc-nginx.yaml

删除:kubectl delete -f svc-nginx.yaml

单机部署实践

部署单节点mysql

基础模板

1 ,首先检查下k8s集群的系统pod状态,确保所有系统pod运行正常:

java 复制代码
# kubectl get pods -n kube-system
NAME                                     READY   STATUS    RESTARTS   AGE
coredns-5d78c9869d-fqtjh                 1/1     Running   0          2d19h
coredns-5d78c9869d-hrt4g                 1/1     Running   0          2d19h
etcd-docker-desktop                      1/1     Running   0          2d19h
kube-apiserver-docker-desktop            1/1     Running   0          2d19h
kube-controller-manager-docker-desktop   1/1     Running   0          2d19h
kube-proxy-rlflb                         1/1     Running   0          2d19h
kube-scheduler-docker-desktop            1/1     Running   0          2d19h
storage-provisioner                      1/1     Running   0          2d19h
vpnkit-controller                        1/1     Running   0          2d19h

2,应用mysql-deployment.yaml文件,快速创建部署一个数据库服务:

java 复制代码
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-mysql
  labels:
    app: mysql
spec:
  replicas: 3 # 副本数量
  selector:
    matchLabels:
      app: mysql
  template: # deployment通过template格式生成pod
    metadata:
      labels:
         app: mysql
    spec:
      containers: # 定义容器部分
      - image: mysql:latest
        name: mysql
        ports:
         - containerPort: 3306
        env:
         - name: MYSQL_ROOT_PASSWORD
           value: "1234"
---
apiVersion: v1
kind: Service
metadata:
  name: my-db
spec:
  ports:
      - port: 3306
        nodePort: 30011
  selector:
      app: mysql
  type: NodePort # 集群外可访问,ClusterIP不可访问

执行:

java 复制代码
# kubectl apply -f mysql-deployment.yaml 
deployment.apps/my-mysql created
service/my-db created

查看:

java 复制代码
# kubectl get all -o wide               
NAME                           READY   STATUS    RESTARTS   AGE     IP          NODE             NOMINATED NODE   READINESS GATES
pod/my-mysql-bd9978b94-gjjjd   1/1     Running   0          2m30s   10.1.0.26   docker-desktop   <none>           <none>
pod/my-mysql-bd9978b94-q5z5h   1/1     Running   0          2m30s   10.1.0.25   docker-desktop   <none>           <none>
pod/my-mysql-bd9978b94-rc9v6   1/1     Running   0          2m30s   10.1.0.24   docker-desktop   <none>           <none>

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE     SELECTOR
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP          2d19h   <none>
service/my-db        NodePort    10.102.141.35   <none>        3306:30011/TCP   2m30s   app=mysql

NAME                       READY   UP-TO-DATE   AVAILABLE   AGE     CONTAINERS   IMAGES         SELECTOR
deployment.apps/my-mysql   3/3     3            3           2m30s   mysql        mysql:latest   app=mysql

NAME                                 DESIRED   CURRENT   READY   AGE     CONTAINERS   IMAGES         SELECTOR
replicaset.apps/my-mysql-bd9978b94   3         3         3       2m30s   mysql        mysql:latest   app=mysql,pod-template-hash=bd9978b94

3,外部客户端远程访问mysql成功:

java 复制代码
# mysql -h 192.168.1.6 -uroot -p1234 -P30011
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 12
Server version: 8.2.0 MySQL Community Server - GPL

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> quit
Bye

1.本次实践的yaml文件可作为后续进阶学习的基础模板。

2.mysql的存储可以配置持久存储来保存数据,使用storageclass来配置持久存储;

3.安全性方面,可以配置secret来确保数据库的安全性;

4.还可以配置初始化容器,来检查pod的运行环境是否正常;

5.对于本次yaml文件,可以增加更多的功能及高级特性,进行不断的优化升级;

持久化

ConfigMap 是一种 API 对象,用来将非机密性的数据保存到键值对中。使用时, Pod 可以将其用作环境变量、命令行参数或者存储卷中的配置文件。ConfigMap 将你的环境配置信息和容器镜像解耦,便于应用配置的修改。但是注意:ConfigMap 并不提供保密或者加密功能。 如果你想存储的数据是机密的,请使用 Secret, 或者使用其他第三方工具来保证你的数据的私密性,而不是用 ConfigMap。

Secret与ConfigMap都是用来存储配置信息的,不同之处在于ConfigMap是明文存储的,而Secret用来保存敏感信息,如:密码、OAuth令牌,ssh key等等。Secret常用有三种类型:

另外,容器中的数据是需要保留的,否则容器重启就没了,需要创建数据目录,存储 MySQL 数据;在本地创建 MySQL 数据文件夹,然后挂载到 MySQL 容器,实现 MySQL 数据的可以持久化。

下面我们通过创建 Secret 对象,将 MySQL 的用户名、密码传递到镜像中使用。

1,创建secret对象:

java 复制代码
#  kubectl create secret generic mysql-auth --from-literal=username=root --from-literal=password=1234
secret/mysql-auth created
#  kubectl get secret mysql-auth
NAME         TYPE     DATA   AGE
mysql-auth   Opaque   2      14s
#  kubectl get secret mysql-auth -o yaml
apiVersion: v1
data:
  password: MTIzNA==
  username: cm9vdA==
kind: Secret
metadata:
  creationTimestamp: "2023-11-18T07:48:50Z"
  name: mysql-auth
  namespace: default
  resourceVersion: "82836"
  uid: 7e767963-840f-4bb6-8e9c-f452478cc8d9
type: Opaque
#  echo MTIzNA== | base64 -d
1234%                                                         

2 ,yaml文件部署:

修改引用mysql-auth中的password值,并且增加volumes数据卷进行持久化:

java 复制代码
apiVersion: apps/v1
kind: Deployment
metadata:
 name: my-mysql
 labels:
   app: mysql
spec:
 replicas: 1 # 副本数量
 selector:
   matchLabels:
     app: mysql
 template: # deployment通过template格式生成pod
   metadata:
     labels:
        app: mysql
   spec:
     containers: # 定义容器部分
     - image: mysql:latest
       name: mysql
       ports:
        - containerPort: 3306
       volumeMounts: #挂载数据卷
       - name: mysql-data
         mountPath: "/mysql" #挂载到容器内的目录
       env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom: # 读取密码
            secretKeyRef:
              name: mysql-auth
              key: password #引用mysql-auth中的password值
     volumes: #数据卷
     - name: mysql-data
       hostPath: #宿主机路径
         path: /Users/Shared/Data #宿主机的目录
         type: Directory
---
apiVersion: v1
kind: Service
metadata:
 name: my-db
spec:
 ports:
     - port: 3306
       nodePort: 30011
 selector:
     app: mysql
 type: NodePort # 集群外可访问,ClusterIP不可访问

执行:

kubectl apply -f mysql-deployment.yaml

3,验证:

java 复制代码
# kubectl get all             
NAME                            READY   STATUS    RESTARTS   AGE
pod/my-mysql-5cdb7f574f-8nwsb   1/1     Running   0          11s

NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP          3d1h
service/my-db        NodePort    10.102.104.177   <none>        3306:30011/TCP   11s

NAME                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/my-mysql   1/1     1            1           11s

NAME                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/my-mysql-5cdb7f574f   1         1         1       11s

# 进入容器新建测试文件
# kubectl exec -it my-mysql-5cdb7f574f-8nwsb /bin/sh
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
sh-4.4# touch /mysql/test.log
sh-4.4# exit
exit
command terminated with exit code 127

# 对应节点上可以看到文件已存在
# ls /Users/Shared/Data
test.log

部署redis集群

一般来说,REDIS部署有三种模式:

  • 单实例模式。一般用于测试环境。
  • 哨兵模式
    在redis3.0以前,要实现集群一般是借助哨兵sentinel工具来监控master节点的状态。
    如果master节点异常,则会做主从切换,将某一台slave作为master。
    引入了哨兵节点,部署更复杂,维护成本也比较高,并且性能和高可用性等各方面表现一般。
  • 集群模式
    3.0 后推出的 Redis 分布式集群解决方案
    主节点提供读写操作,从节点作为备用节点,不提供请求,只作为故障转移使用
    如果master节点异常,也是会自动做主从切换,将slave切换为master。

总的来说,集群模式明显优于哨兵模式。

因为redis集群,最终需要对应的文件有,redis.conf、data等

redis.conf可以是一个相同的,其他两个肯定是不一样的。因此如果同一个node的pod镜像使用 Volume 挂载文件夹部署是不能满足的。所以这里,就引出了SC、PV了。

  • StorageClass:简称sc,存储类,是k8s平台为存储提供商提供存储接入的一种声明。通过sc和相应的存储插件(csi)为容器应用提供持久存储卷的能力。
  • PersistentVolume简称pv,持久化存储,是k8s为云原生应用提供一种拥有独立生命周期的、用户可管理的存储的抽象设计。

1,创建SC

java 复制代码
# cat redis-sc.yaml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: redis-sc
provisioner: nfs-storage
java 复制代码
# kubectl apply -f redis-sc.yaml
# kubectl get sc 
NAME                 PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
hostpath (default)   docker.io/hostpath   Delete          Immediate           false                  3d3h
redis-sc             nfs-storage          Delete          Immediate           false                  25m

2,创建PV关联SC

java 复制代码
# cat redis-pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv1
spec:
  storageClassName: redis-sc
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.1.6
    path: "/User/Shard/Data/pv1"
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv2
spec:
  storageClassName: redis-sc
  capacity:
    storage: 200M
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.1.6
    path: "/User/Shard/Data/pv2"

名称为nfs-pv1,对应的storageClassName为redis-sc,capacity容器200M,accessModes访问模式可被多节点读写

对应nfs服务器192.168.1.6,对应文件夹路径path(对应安装的nfs服务器),这里我们创建2个pv.

java 复制代码
# kubectl apply -f redis-pv.yaml
# kubectl get pv                 
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs-pv1   200M       RWX            Retain           Available           redis-sc                6s
nfs-pv2   200M       RWX            Retain           Available           redis-sc                6s

3,利用StatefulSet创建Redis 集群节点。

RC、Deployment、DaemonSet都是面向无状态的服务,它们所管理的Pod的IP、名字,启停顺序等都是随机的,而StatefulSet是什么?顾名思义,有状态的集合,管理所有有状态的服务,比如MySQL、MongoDB集群等。

StatefulSet本质上是Deployment的一种变体,在v1.9版本中已成为GA版本,它为了解决有状态服务的问题,它所管理的Pod拥有固定的Pod名称,启停顺序,在StatefulSet中,Pod名字称为网络标识(hostname),还必须要用到共享存储。

在Deployment中,与之对应的服务是service,而在StatefulSet中与之对应的headless service。headless service,即无头服务,与service的区别就是它没有Cluster IP,解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。

除此之外,StatefulSet在Headless Service的基础上又为StatefulSet控制的每个Pod副本创建了一个DNS域名,这个域名的格式为:

java 复制代码
$(pod.name).$(headless server.name).${namespace}.svc.cluster.local

也即是说,对于有状态服务,我们最好使用固定的网络标识(如域名信息)来标记节点,当然这也需要应用程序的支持(如Zookeeper就支持在配置文件中写入主机域名)。

StatefulSet基于Headless Service(即没有Cluster IP的Service)为Pod实现了稳定的网络标志(包括Pod的hostname和DNS Records),在Pod重新调度后也保持不变。同时,结合PV/PVC,StatefulSet可以实现稳定的持久化存储,就算Pod重新调度后,还是能访问到原先的持久化数据。

以下为使用StatefulSet部署Redis的架构,无论是Master还是Slave,都作为StatefulSet的一个副本,并且数据通过PV进行持久化,对外暴露为一个Service,接受客户端请求。

java 复制代码
# cat redis.yaml       
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: my-redis
  labels:
    app: redis
spec:
  replicas: 1 # 副本数量
  selector:
    matchLabels:
      app: redis
  template: # deployment通过template格式生成pod
    metadata:
      labels:
         app: redis
    spec:
      containers: # 定义容器部分
      - image: redis:latest
        name: redis
        ports:
          - containerPort: 6379
        volumeMounts: #挂载数据卷
          - name: redis-conf
            mountPath: "/etc/redis/redis.conf"
          - name: redis-data
            mountPath: "/data"
      volumes: #数据卷
      - name: redis-conf
        hostPath:
          path: "/Users/Shared/Data/redis.conf"
          type: FileOrCreate
  volumeClaimTemplates:
    - metadata:
        name: redis-data
      spec:
        accessModes: [ "ReadWriteMany" ]
        resources:
          requests:
            storage: 200M
        storageClassName: redis-sc
---
apiVersion: v1
kind: Service
metadata:
  name: my-redis
spec:
  ports:
      - port: 6379
        nodePort: 30012
  selector:
      app: redis
  type: NodePort # 集群外可访问,ClusterIP不可访问

部署springboot应用

1,dockefile准备好镜像:

java 复制代码
FROM openjdk:8-jdk-alpine
COPY target/demospringboot-0.0.1-SNAPSHOT.jar F:\docker
WORKDIR F:\docker
EXPOSE 8080
ENTRYPOINT ["java", "-jar", "demospringboot-0.0.1-SNAPSHOT.jar"]

执行:

java 复制代码
# docker build -f my-app-dockfile -t my-springboot-img:v1 .

参考:

https://blog.csdn.net/weixin_48751167/article/details/123507306

https://zhuanlan.zhihu.com/p/631315345

https://blog.csdn.net/jks212454/article/details/130201521

https://kubernetes.io/zh-cn/docs/concepts/configuration/configmap/

https://blog.csdn.net/ABAP_Brave/article/details/129425282

https://blog.csdn.net/m0_70618214/article/details/131290729

相关推荐
longgggggggggggggggg10 分钟前
curl -fsSL https://get.docker.com|sh 解释命令
docker
LuiChun23 分钟前
docker django uwsgi 报错记录
docker·容器·django
tingting011927 分钟前
docker 释放磁盘空间--常用清理命令
运维·docker·容器
杨浦老苏1 小时前
轻量级安全云存储方案Hoodik
docker·群晖·网盘
dessler1 小时前
Docker-Dockerfile案例(一)
linux·运维·docker
香吧香2 小时前
已有docker镜像构建过程分析
docker
橙子家czzj2 小时前
关于 K8s 的一些基础概念整理-补充【k8s系列之二】
java·开发语言·kubernetes
小安运维日记5 小时前
CKA认证 | Day7 K8s存储
运维·云原生·容器·kubernetes·云计算
AR_xsy5 小时前
K8S--“ Failed to create pod sandbox: nameserver list is empty“
云原生·容器·kubernetes
码农炎可5 小时前
K8S 黑魔法之如何从 Pod 拿到节点的命令行
安全·云原生·容器·kubernetes