排查K8s Pod Core Dump问题

排查K8s Pod Core Dump问题的步骤

检查Pod日志

通过kubectl logs <pod-name>查看Pod的标准输出和错误日志,确认是否有崩溃或异常信息。若容器已重启,添加--previous参数查看前一个容器的日志。

检查Core Dump文件位置

默认情况下,容器内的Core Dump文件可能生成在/var/lib/systemd/coredump或/tmp目录。需确认容器是否配置了Core Dump路径,通过kubectl exec -it <pod-name> -- ls /tmp检查目标路径。

启用Core Dump收集

在容器内执行ulimit -c unlimited临时启用Core Dump。永久生效需在Pod的securityContext中配置:

yaml 复制代码
securityContext:
  capabilities:
    add: ["SYS_PTRACE"]
  privileged: false

配置Core Dump路径

在Pod的initContainer或主容器中挂载HostPath,将Core Dump保存到持久化存储:

yaml 复制代码
volumeMounts:
- name: coredump-vol
  mountPath: /tmp/coredump
volumes:
- name: coredump-vol
  hostPath:
    path: /var/coredumps
    type: DirectoryOrCreate

分析Core文件

将Core文件复制到本地后,使用gdb分析:

bash 复制代码
gdb <binary-path> <core-file>

执行bt full查看完整堆栈跟踪,定位崩溃点。

检查资源限制

通过kubectl describe pod <pod-name>确认是否因内存不足(OOMKilled)触发崩溃。调整resources.limits中的内存配置:

yaml 复制代码
resources:
  limits:
    memory: "2Gi"

内核参数调优

在节点上修改/etc/sysctl.conf,确保内核允许Core Dump:

bash 复制代码
echo "kernel.core_pattern=/var/coredumps/core.%e.%p" | sudo tee -a /etc/sysctl.conf
sysctl -p

使用Debug工具

对于复杂问题,在Pod中安装调试工具(如strace):

bash 复制代码
kubectl exec -it <pod-name> -- apt-get update && apt-get install -y strace
strace -p 1

检查依赖库

通过ldd <binary-path>确认容器内依赖库版本是否匹配。使用docker history或kubectl describe pod检查基础镜像的变更历史。

复现问题

若条件允许,在测试环境复现问题。通过kubectl debug启动临时调试容器:

bash 复制代码
kubectl debug -it <pod-name> --image=busybox --target=<container-name>
相关推荐
发疯的技术鼠1 小时前
03-优先级与调度
linux
无足鸟ICT3 小时前
【RHCA+】sosreport(收集诊断文档)
linux·运维·服务器
GeW3 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
A-刘晨阳4 小时前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
星恒随风4 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
瑞雪兆丰年兮6 小时前
Linux零基础快速入门-第二章 Linux基础命令
linux·运维·服务器
lambo mercy6 小时前
01初识docker
运维·docker·容器
时间的拾荒人7 小时前
Docker 容器、仓库与数据管理实战
docker·容器·eureka
咋的啥名都用不了呢~8 小时前
Linux项目部署6(安装Elasticsearch)
linux
时间的拾荒人8 小时前
Docker 入门实战:从核心概念、安装配置到镜像操作与 Dockerfile 定制
运维·docker·容器·eureka