k8s(Kubernetes) 常用命令配置

一、基础命令

$ kubectl create -f ./my-manifest.yaml           # 创建资源
$ kubectl create -f ./my1.yaml -f ./my2.yaml     # 使用多个文件创建资源
$ kubectl create -f ./dir                        # 使用目录下的所有清单文件来创建资源
$ kubectl create -f https://git.io/vPieo         # 使用 url 来创建资源
$ kubectl run nginx --image=nginx                # 启动一个 nginx 实例
$ kubectl explain pods,svc                       # 获取 pod 和 svc 的文档

二、显示和查找资源

# Get commands with basic output
$ kubectl get services                          # 列出所有 namespace 中的所有 service
$ kubectl get pods --all-namespaces             # 列出所有 namespace 中的所有 pod
$ kubectl get pods -o wide                      # 列出所有 pod 并显示详细信息
$ kubectl get deployment my-dep                 # 列出指定 deployment
$ kubectl get pods --include-uninitialized      # 列出该 namespace 中的所有 pod 包括未初始化的
# 使用详细输出来描述命令
$ kubectl describe nodes my-node
$ kubectl describe pods my-pod
$ kubectl get services --sort-by=.metadata.name # List Services Sorted by Name

# 根据重启次数排序列出 pod
$ kubectl get pods --sort-by='.status.containerStatuses[0].restartCount'
# 获取所有具有 app=cassandra 的 pod 中的 version 标签
$ kubectl get pods --selector=app=cassandra rc -o \
  jsonpath='{.items[*].metadata.labels.version}'
# 获取所有节点的 ExternalIP
$ kubectl get nodes -o jsonpath='{.items[*].status.addresses[?(@.type=="ExternalIP")].address}'
# 列出属于某个 PC 的 Pod 的名字
# "jq"命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/
$ sel=${$(kubectl get rc my-rc --output=json | jq -j '.spec.selector | to_entries | .[] | "\(.key)=\(.value),"')%?}
$ echo $(kubectl get pods --selector=$sel --output=jsonpath={.items..metadata.name})

# 查看哪些节点已就绪
$ JSONPATH='{range .items[*]}{@.metadata.name}:{range @.status.conditions[*]}{@.type}={@.status};{end}{end}' \
 && kubectl get nodes -o jsonpath="$JSONPATH" | grep "Ready=True"
# 列出当前 Pod 中使用的 Secret
$ kubectl get pods -o json | jq '.items[].spec.containers[].env[]?.valueFrom.secretKeyRef.name' | grep -v null | sort | uniq

三、更新资源

kubectl rolling-update frontend-v1 -f frontend-v2.json           # 滚动更新 pod frontend-v1
$ kubectl rolling-update frontend-v1 frontend-v2 --image=image:v2  # 更新资源名称并更新镜像
$ kubectl rolling-update frontend --image=image:v2                 # 更新 frontend pod 中的镜像
$ kubectl rolling-update frontend-v1 frontend-v2 --rollback        # 退出已存在的进行中的滚动更新
$ cat pod.json | kubectl replace -f -                              # 基于 stdin 输入的 JSON 替换 pod
# 强制替换，删除后重新创建资源。会导致服务中断。
$ kubectl replace --force -f ./pod.json
# 为 nginx RC 创建服务，启用本地 80 端口连接到容器上的 8000 端口
$ kubectl expose rc nginx --port=80 --target-port=8000
# 更新单容器 pod 的镜像版本（tag）到 v4
$ kubectl get pod mypod -o yaml | sed 's/\(image: myimage\):.*$/\1:v4/' | kubectl replace -f -
$ kubectl label pods my-pod new-label=awesome                      # 添加标签
$ kubectl annotate pods my-pod icon-url=http://goo.gl/XXBTWq       # 添加注解
$ kubectl autoscale deployment foo --min=2 --max=10                # 自动扩展 deployment “foo”

四、 Scale 资源

kubectl scale --replicas=3 rs/foo                                 # Scale a replicaset named 'foo' to 3
$ kubectl scale --replicas=3 -f foo.yaml                            # Scale a resource specified in "foo.yaml" to 3
$ kubectl scale --current-replicas=2 --replicas=3 deployment/mysql  # If the deployment named mysql's current size is 2, scale mysql to 3
$ kubectl scale --replicas=5 rc/foo rc/bar rc/baz                   # Scale multiple replication controllers

五、删除资源

$ kubectl delete -f ./pod.json                                              # 删除 pod.json 文件中定义的类型和名称的 pod
$ kubectl delete pod,service baz foo                                        # 删除名为"baz"的 pod 和名为"foo"的 service
$ kubectl delete pods,services -l name=myLabel                              # 删除具有 name=myLabel 标签的 pod 和 serivce
$ kubectl delete pods,services -l name=myLabel --include-uninitialized      # 删除具有 name=myLabel 标签的 pod 和 service，包括尚未初始化的
$ kubectl -n my-ns delete po,svc --all                                      # 删除 my-ns namespace 下的所有 pod 和 serivce，包括尚未初始化的

六、与运行中的 Pod 交互

$ kubectl logs my-pod                                 # dump 输出 pod 的日志（stdout）
$ kubectl logs my-pod -c my-container                 # dump 输出 pod 中容器的日志（stdout，pod 中有多个容器的情况下使用）
$ kubectl logs -f my-pod                              # 流式输出 pod 的日志（stdout）
$ kubectl logs -f my-pod -c my-container              # 流式输出 pod 中容器的日志（stdout，pod 中有多个容器的情况下使用）
$ kubectl run -i --tty busybox --image=busybox -- sh  # 交互式 shell 的方式运行 pod
$ kubectl attach my-pod -i                            # 连接到运行中的容器
$ kubectl port-forward my-pod 5000:6000               # 转发 pod 中的 6000 端口到本地的 5000 端口
$ kubectl exec my-pod -- ls /                         # 在已存在的容器中执行命令（只有一个容器的情况下）
$ kubectl exec my-pod -c my-container -- ls /         # 在已存在的容器中执行命令（pod 中有多个容器的情况下）
$ kubectl top pod POD_NAME --containers               # 显示指定 pod 和容器的指标度量

七、与节点和集群交互

$ kubectl cordon my-node                                                # 标记 my-node 不可调度
$ kubectl drain my-node                                                 # 清空 my-node 以待维护
$ kubectl uncordon my-node                                              # 标记 my-node 可调度
$ kubectl top node my-node                                              # 显示 my-node 的指标度量
$ kubectl cluster-info                                                  # 显示 master 和服务的地址
$ kubectl cluster-info dump                                             # 将当前集群状态输出到 stdout
$ kubectl cluster-info dump --output-directory=/path/to/cluster-state   # 将当前集群状态输出到 /path/to/cluster-state

七、常见问题解决

1.kubectl进入中文乱码

kubectl exec -it <your-pod-name> --namespace=你的namespace -- env LANG=C.UTF-8 bash

2.出服务

apiVersion: v1
kind: Service
metadata:
  name: java-tracking-expose-service
  namespace: java-tracking
spec:
  type: NodePort
  selector:
    app.kubernetes.io/component: primary
    app.kubernetes.io/instance: java-tracking--mysql
    app.kubernetes.io/name: mysql
  ports:
    - protocol: TCP
      port: 3306
      targetPort: 3306
      nodePort: 30847

八、其他
```
目前开放端口（30800-30848）
| 端口 | 服务 | 描述 |
| ------- | --------------------- | ------------------------------------- |
| 30848 | nacos | 关联到nacos的8848web端口 |
| 30847 | java-tracking-mysql | 关联到java-tracking mysql的3306端口 |

serviceaccount

服务账号是在 Kubernetes 中一种用于非人类用户的账号，在 Kubernetes 集群中提供不同的身份标识。 应用 Pod、系统组件以及集群内外的实体可以使用特定 ServiceAccount 的凭据来将自己标识为该 ServiceAccount。 这种身份可用于许多场景，包括向 API 服务器进行身份认证或实现基于身份的安全策略。
服务账号以 ServiceAccount 对象的形式存在于 API 服务器中。服务账号具有以下属性：
* **名字空间限定：** 每个服务账号都与一个 Kubernetes 名字空间绑定。 每个名字空间在创建时，会获得一个[名为 `default` 的 ServiceAccount](https://kubernetes.io/zh-cn/docs/concepts/security/service-accounts/#default-service-accounts)。
* **轻量级：** 服务账号存在于集群中，并在 Kubernetes API 中定义。你可以快速创建服务账号以支持特定任务。
* **可移植性：** 复杂的容器化工作负载的配置包中可能包括针对系统组件的服务账号定义。 服务账号的轻量级性质和名字空间作用域的身份使得这类配置可移植。
服务账号与用户账号不同，用户账号是集群中通过了身份认证的人类用户。默认情况下， 用户账号不存在于 Kubernetes API 服务器中；相反，API 服务器将用户身份视为不透明数据。 你可以使用多种方法认证为某个用户账号。某些 Kubernetes 发行版可能会添加自定义扩展 API 来在 API 服务器中表示用户账
查看某个特定的sa账户。

kubectl describe sa default -n kube-system #查看default的sa
Name:                default
Namespace:           kube-system
Labels:              <none>
Annotations:         <none>
Image pull secrets:  <none>
Mountable secrets:   default-token-5gtcx
Tokens:              default-token-5gtcx
Events:              <none>

sa账号有一个token 就是上面的tokens，可通过命令来查看具体token
C:\Users\admin>kubectl describe secret default-token-5gtcx
Name: default-token-5gtcx
Namespace: kube-system
Labels:
Annotations: kubernetes.io/service-account.name: default
kubernetes.io/service-account.uid: 2b991a6b-71b6-4cc8-9426-bfee0ca674de
Type: kubernetes.io/service-account-token
Data

ca.crt: 1025 bytes
namespace: 11 bytes

token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IkdNc3lqM2IzN2RMSFdHWGRIZkVsM1hSMXlpay0wUUtDYmdKaGVNemFET28ifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkZWZhdWx0LXRva2VuLTVndGN4Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImRlZmF1bHQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiIyYjk5MWE2Yi03MWI2LTRjYzgtOTQyNi1iZmVlMGNhNjc0ZGUiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06ZGVmYXVsdCJ9.t0gUAZIjmGZn-vCXQJM1zrv6s0sP2xhNufY8gWH0xBQFd4pcma8cEbDvS3joP2WmXMgXAlAfCEf2_mREgGgdytZc7YYg6LmQBG_5ZYZyAOuVpafBMPZMUjVH-rJL0QIZGTzc8uTQn-zXUttmgeEXlXwv5EXvTOmI1kCG_ZN1kE25TgSR3sH6LPKE3roMzSdAE3-oqDbkawFstmrvUqgh1HfAqtcE2KiOnEG9aE_hlRn-Vvj8hJjKi_e8mg5tB5dsNoW0M1-ax5qy_o6TcQHLRWqj1eAmJ2yljMjP5uwTS8CfhGDlvPU4uzoQ8xR41Q8lIwRICds8tJnsZ574ISNBqA

上面的token可以用于登录或者用于访问其他资源
以下是判断这个tken是否有get pods的权限，会输出yes|no

kubectl auth can-i get pods --token=eyJhbGciOiJSUzI1NiIsImtpZCI6IkdNc3lqM2IzN2RMSFdHWGRIZkVsM1hSMXlpay0wUUtDYmdKaGVNemFET28ifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkZWZhdWx0LXRva2VuLTVndGN4Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImRlZmF1bHQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiIyYjk5MWE2Yi03MWI2LTRjYzgtOTQyNi1iZmVlMGNhNjc0ZGUiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06ZGVmYXVsdCJ9.t0gUAZIjmGZn-vCXQJM1zrv6s0sP2xhNufY8gWH0xBQFd4pcma8cEbDvS3joP2WmXMgXAlAfCEf2_mREgGgdytZc7YYg6LmQBG_5ZYZyAOuVpafBMPZMUjVH-rJL0QIZGTzc8uTQn-zXUttmgeEXlXwv5EXvTOmI1kCG_ZN1kE25TgSR3sH6LPKE3roMzSdAE3-oqDbkawFstmrvUqgh1HfAqtcE2KiOnEG9aE_hlRn-Vvj8hJjKi_e8mg5tB5dsNoW0M1-ax5qy_o6TcQHLRWqj1eAmJ2yljMjP5uwTS8CfhGDlvPU4uzoQ8xR41Q8lIwRICds8tJnsZ574ISNBqA

测试容器

kubectl run test-pod --image=busybox --rm -it --restart=Never -- sh
kubectl config set-context --current --namespace=your-namespace 设置默认的namespace kubectl get pods --all-namespaces 查询所有控件下的pod kubectl config get-contexts 查看所有的集群 kubectl config use-context <context-name> 切换集群

k8s服务问题诊断

查看容器事件

kubectl events | findstr svc-oms-bi

查看容器资源占用

C:\Users\admin>kubectl top nodes --sort-by=cpu
NAME                                           CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
gke-opene--prd-database-bonded-f3521499-lj62   2193m        13%    25199Mi         42%
gke-opene--prd-database-bonded-f3521499-ghl1   1613m        10%    29254Mi         49%
gke-opene--prd-database-bonded-f3521499-4r3h   1542m        9%     25294Mi         43%
gke-opene--prd-spot-pool-b519e12c-f9sr         800m         20%    12523Mi         94%
gke-opene--prd-priority-bonded-bdfefcb3-vof0   701m         17%    13917Mi         48%
gke-opene--prd-priority-bonded-bdfefcb3-cwl9   657m         16%    19529Mi         68%
gke-opene--prd-spot-pool-b519e12c-dxa0         553m         14%    12592Mi         94%
gke-opene--prd-spot-pool-b519e12c-u7mb         326m         8%     4898Mi          36%
gke-opene--prd-standard-bonded-75e523a4-iou4   262m         13%    3337Mi          25%
gke-opene--prd-standard-bonded-75e523a4-qooz   257m         13%    6056Mi          45%
gke-opene--prd-spot-pool-b519e12c-dkut         114m         2%     3792Mi          28%

输出的列分别代表以下内容：
* NAME：节点的名称。
* CPU(cores)：节点上已使用的CPU核心数量。
* CPU%：节点上已使用的CPU百分比。
* MEMORY(bytes)：节点上已使用的内存字节数。
* MEMORY%：节点上已使用的内存百分比。
这些列提供了有关每个节点的CPU和内存使用情况的信息

查看pod的资源占用

C:\Users\admin>kubectl top pods --all-namespaces --sort-by=memory
NAMESPACE                NAME                                                      CPU(cores)   MEMORY(bytes)
java-wms                 java-wms--mysql-primary-0                                 8m           9254Mi
svc-oms-bi               svc-oms-bi--mysql-primary-0                               16m          6916Mi
sys-rocketmq             broker-0-replica-1-0                                      33m          4399Mi
sys-rocketmq             broker-0-master-0                                         36m          4392Mi
svc-oms-bi               svc-oms-bi--api-654d6784dc-8mlmt                          37m          3507Mi
svc-oms-bi               svc-oms-bi--api-654d6784dc-mmrct                          106m         3297Mi
epi-dbo                  epi-dbo--redis-master-0                                   10m          3196Mi
svc-oms-bi               svc-oms-bi--api-654d6784dc-jmgnh                          247m         2328Mi
svc-oms-tools            svc-oms-tools--api-6ffc97f5fb-qx2x6                       6m           2108Mi
svc-oms-bi               svc-oms-bi--api-654d6784dc-lqqbf                          158m         2002Mi
svc-oms                  svc-oms--api-586cdf8bcd-8rmhr                             75m          1390Mi

grafana

生产k8s部署了grafana和promethus,提供可视化的监控，地址：https://grafana.opene.com/dashboards

拓展节点

在Kubernetes（k8s）中，节点池（Node Pool）和节点（Node）是两个不同的概念。

• 节点池（Node Pool）：节点池是一组具有相似特性和配置的节点的集合。它是在Kubernetes集群中用于管理和组织节点的逻辑单元。节点池可以根据不同的需求和用途进行创建和调整。例如，您可以创建一个节点池来专门运行计算密集型工作负载，另一个节点池来运行内存密集型工作负载。节点池的创建和调整通常是通过云服务提供商的管理控制台、命令行工具或Kubernetes API来完成的。
• 节点（Node）：节点是Kubernetes集群中的计算资源，可以是虚拟机、物理机或云实例。节点是运行Kubernetes容器化工作负载的主机。它们承载着运行Pod的任务，并提供计算、存储和网络资源来支持容器应用程序的执行。每个节点都有自己的主机名、IP地址和一组资源（例如CPU、内存、磁盘等）。节点由Kubernetes控制平面管理，它们接收调度器的指令，并运行相应的容器和Pod。
  总结起来，节点池是一组具有相似特性和配置的节点的集合，而节点是实际的计算资源，用于运行和承载Kubernetes的容器化工作负载。节点池提供了一种管理和组织节点的方式，以满足不同的需求和用途
  进入集群，点击名称进入
  
  
  上图两个节点池，其中bot-pool有1个节点，节点gke-opene--dev-bot-pool-1a093808-p2px配置较低。
  spot-pool有3个节点，配置相同，配置较高。
  拓展的方式有两种

节点池修改节点数

点击节点池名称，进入后点击修改

修改节点数保存即可

新增节点池

在集群页面点击：添加节点池

节点池详情页面输入名称，节点数（注意不要立刻点创建）

点击 节点数菜单，选择镜像类型（系统类型），机器配置（内存，cpu，磁盘），点击创建