如何排错运行在Kubernetes集群中的服务?

我们的前端服务以job运行。k8s的job用于执行一次性的任务,运行完毕即退出。以job方式运行的前端服务启动程序只做一件事情,将镜像中指定目录下的静态文件上传到对象存储。上传前会做一些变量替换,替换的值和对象存储的连接信息存储在Nacos中。

Nacos的连接信息通过job的环境变量注入,类似下面这样,

复制代码
apiVersion: batch/v1
kind: Job
metadata:
  name: frontend-app-web
spec:
  template:
    metadata:
      labels:
        app: frontend-app-web
    spec:
      containers:
      - name: frontend-app-web
        image: harbor.example.com/frontend-app-web:3
        imagePullPolicy: Always             
        env:          
          - name: NACOS_HOST
            value: nacos-cs.nacos.svc.cluster.local:8848
          - name: NACOS_AUTH_USERNAME
            value: username
          - name: NACOS_AUTH_PASSWORD
            value: veryLongPassword
      restartPolicy: Never

在部署过程中,发现有一个前端服务始终卡在连接Nacos的阶段,日志如下,

起初我确定Nacos的连接信息是没有错的,但日志显示连接Nacos超时。为了排查这个问题,将原本以job方式运行的服务更改为deployment方式,如下,

复制代码
apiVersion: apps/v1
kind: Deployment
metadata:
  name: frontend-app-web
  labels:
    app: frontend-app-web
spec:
  replicas: 1
  selector:
    matchLabels:
      app: frontend-app-web
  template:
    metadata:
      labels:
        app: frontend-app-web
    spec:
      containers:
      - name: frontend-app-web
        image: harbor.example.com/frontend-app-web:3
        imagePullPolicy: Always        

        command: ["/bin/bash"]
        args: ["-c", "while true;do sleep 3600;done"]
        tty: true
        stdin: true
 
        env:
        - name: NACOS_HOST
          value: nacos-cs.nacos.svc.cluster.local:8848
        - name: NACOS_AUTH_USERNAME
          value: username
        - name: NACOS_AUTH_PASSWORD
          value: veryLongPassword        
      restartPolicy: Always

更改为deployment运行,最重要是加入下面四行内容,

复制代码
        command: ["/bin/bash"]
        args: ["-c", "while true;do sleep 3600;done"]
        tty: true
        stdin: true

这样Pod运行后,就可以进入容器内部调试。

Pod启动后,运行镜像原本的启动命令(是一段JavaScript代码,完成文章开头提到的上传前端文件到对象存储的功能),还是一样的报错。和正常服务比较,发现Nacos的连接地址少写了"http://",在容器里面修改环境变量,

复制代码
export NACOS_HOST=http://nacos-cs.nacos.svc.cluster.local:8848

重新运行上传程序,运行成功。

K8s调试Pod核心是集群视角多维度排查,依赖kubectl工具链。因分布式隔离、临时生命周期(重启丢状态),常用logs/exec/临时容器等方法,避免直接操作宿主机。

相关推荐
阿里云云原生11 小时前
阿里云 AI 网关 x 联想百应:构建 Token Plan 平台&词元宝 Token Key 产品,让模型服务走向规模化运营
云原生
阿里云云原生12 小时前
基于阿里云 AgentLoop 构建 Agent 进化数据飞轮闭环,让线上 Trace 沉淀为可复用经验
云原生
分布式存储与RustFS13 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋14 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
阿里云云原生16 小时前
AgentScope Durable:让企业 Agent 持续、可靠地运行
云原生
Eyfcom18 小时前
〖物流云原生实战 05〗Service Mesh 在快递系统微服务治理中的应用:从“代码侵入”到“基础设施下沉”
微服务·云原生·service_mesh·快递系统·物流云原生实战
菜地里的小菜鸟19 小时前
Docker 19.03.8 升级到 20.10.24
docker·云原生·容器·docker19038升级到201024
阿里云云原生1 天前
AgentLoop × Qoder:采集自动装,审计直接问
云原生·agent
A-刘晨阳1 天前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
lambo mercy2 天前
01初识docker
运维·docker·容器