Kdump 原理分析及场景案例分析

Kdump 原理分析及场景案例分析

• • [Kdump 原理分析及场景案例分析](#Kdump 原理分析及场景案例分析)
  • • 一、引言
    • [二、Kdump 相关名词定义](#二、Kdump 相关名词定义)
    • [三、Kdump 实现原理](#三、Kdump 实现原理)
    • • [3.1 Kexec 机制](#3.1 Kexec 机制)
      • [3.2 Kdump 机制](#3.2 Kdump 机制)
    • [四、Kexec 和 Kdump 的设计区别](#四、Kexec 和 Kdump 的设计区别)
    • [五、Kdump 的应用场景](#五、Kdump 的应用场景)
    • [六、使用 Kdump 的目的](#六、使用 Kdump 的目的)
    • [七、Kdump 的执行流程](#七、Kdump 的执行流程)
    • 八、分析工具
    • • [8.1 使用 `crash` 工具分析 vmcore 文件](#8.1 使用 crash 工具分析 vmcore 文件)
      • • [安装 `crash` 工具](#安装 crash 工具)
        • [使用 `crash` 工具加载 vmcore 文件](#使用 crash 工具加载 vmcore 文件)
        • [常用 `crash` 命令](#常用 crash 命令)
      • [8.2 使用 `gdb` 工具分析 vmcore 文件](#8.2 使用 gdb 工具分析 vmcore 文件)
      • • [安装 `gdb` 工具](#安装 gdb 工具)
        • [使用 `gdb` 工具加载 vmcore 文件](#使用 gdb 工具加载 vmcore 文件)
        • [常用 `gdb` 命令](#常用 gdb 命令)
    • 九、案例分析
    • • 案例一：驱动程序导致系统崩溃
      • [案例二：系统无响应，但 CPU、内存、负载和流量均正常](#案例二：系统无响应，但 CPU、内存、负载和流量均正常)
    • 十、总结

Kdump 原理分析及场景案例分析

一、引言

Kdump 是一种在 Linux 系统崩溃时用来转储内存运行参数的工具和服务。自 2005 年引入以来，Kdump 已成为内核崩溃转储机制中最可靠的方法，被主要的 Linux 发行版广泛采用。在系统崩溃、死锁或死机时，Kdump 可以捕获内存中的数据，并生成崩溃转储文件，这些文件对于分析和诊断系统问题至关重要。

二、Kdump 相关名词定义

在深入了解 Kdump 的实现和使用之前，需要了解一些相关名词：

• 生产内核（Production Kernel）：第一个运行的内核，正常情况下系统所运行的内核。
• 捕获内核（Capture Kernel）：系统异常时启动的第二个内核，用于对生产内核下的内存进行收集和转存。
• Ramdisk：将一段内存假设为一个硬盘驱动器。使用 ramdisk 作为文件系统可以大幅提高读写速度。
• ELF 文件：内核分析出内存的使用和分布情况后，将这些信息综合生成一个 ELF 头文件保存起来。

三、Kdump 实现原理

Kdump 的实现可以分为两个部分：内核和用户工具。内核提供机制，用户工具在这些机制上实现各种转储策略。Kdump 的核心机制依赖于 kexec，它允许通过已经运行的内核的上下文启动另一个 Linux 内核，而无需经过 BIOS 重新启动。

3.1 Kexec 机制

Kexec 是 Kdump 实现的基础，它包括两个组成部分：

1. 内核空间的系统调用 kexec_load()：用于在生产内核启动时将捕获内核加载到指定地址。
2. 用户空间的工具 kexec-tools：将捕获内核的地址传递给生产内核，从而在系统崩溃时能够找到并启动捕获内核。

kexec_load() 系统调用主要用来将另一个内核及其 ramdisk 加载到当前内核中。在 Kdump 中，捕获内核只能使用预留的一小段内存，生产内核的内存镜像会以 /proc/vmcore 的形式提供给用户。

3.2 Kdump 机制

Kdump 机制的实现需要两个不同的内核：生产内核和捕获内核。生产内核是捕获内核服务的对象，当生产内核崩溃时，捕获内核会启动并收集生产内核的内存信息。

1. 生产内核：保留一部分内存给捕获内核启动使用。由于 Kdump 利用 kexec 启动捕获内核，绕过了 BIOS，生产内核的内存得以保留。
2. 捕获内核：在系统崩溃时启动，与相应的 ramdisk 组成一个微环境，用以收集和转存生产内核下的内存。

为了顺利启动捕获内核，捕获内核及其 ramdisk 需要预先放到生产内核的内存中。生产内核的内存通过 /proc/vmcore 文件交给捕获内核。捕获内核被引导时会传递 ELF 文件头的地址，通过分析它，捕获内核可以生成 /proc/vmcore 文件。捕获内核的 ramdisk 中的脚本可以通过文件读写和网络实现各种转储策略。

四、Kexec 和 Kdump 的设计区别

Kexec 的设计目的是通过覆盖原内核位置启动新内核，而 Kdump 的设计是预留一块内存加载第二个内核及相关数据。在系统崩溃后，第二个内核在原位置运行，收集第一个内核的相关内存信息。

五、Kdump 的应用场景

Kdump 可以用于各种系统崩溃场景的诊断，例如：

• 系统崩溃时无法记录异常信息。
• 驱动程序导致系统无响应。
• 突然系统没有响应但 CPU、内存、负载和流量均正常。

六、使用 Kdump 的目的

• 了解内核崩溃的大致原因。
• 对内核崩溃的原因进行详细分析。

七、Kdump 的执行流程

1. 生产内核：正常运行。
2. 系统异常：触发崩溃（例如通过 sysrq 模拟）。
3. 捕获内核 ：系统调用 machine_kexec() 启动捕获内核，传递 ELF 头文件的地址。
4. 生成 vmcore 文件 ：捕获内核生成 /proc/vmcore 文件。
5. 数据收集和转存 ：捕获内核的 ramdisk 脚本将 /proc/vmcore 文件中的数据进行收集和转存。

八、分析工具

分析工具如 gdb、crash 等可以用于对生成的 vmcore 文件进行分析。

8.1 使用 crash 工具分析 vmcore 文件

crash 是一个强大的分析工具，专门用于内核崩溃转储文件的调试和分析。

安装 crash 工具

sudo yum install crash

使用 crash 工具加载 vmcore 文件

crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore

常用 crash 命令

• bt：显示内核线程的堆栈回溯。
• ps：显示系统进程信息。
• vm：显示虚拟内存信息。

8.2 使用 gdb 工具分析 vmcore 文件

gdb 是一个通用的调试工具，可以用于调试和分析内核崩溃转储文件。

安装 gdb 工具

sudo yum install gdb

使用 gdb 工具加载 vmcore 文件

gdb /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore

常用 gdb 命令

• bt：显示线程的堆栈回溯。
• info threads：显示所有线程的信息。
• info registers：显示寄存器的状态。

九、案例分析

案例一：驱动程序导致系统崩溃

问题描述 ：系统在加载特定驱动程序后无响应，没有任何异常信息。
解决方案 ：使用 Kdump 捕获崩溃时的内存信息，通过 crash 工具分析 vmcore 文件，找出导致崩溃的驱动程序。

crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore

在 crash 中使用 bt 命令查看崩溃时的堆栈回溯，确定是某个驱动程序引发的崩溃。

案例二：系统无响应，但 CPU、内存、负载和流量均正常

问题描述 ：系统突然无响应，但监控显示 CPU、内存、负载和流量均正常。
解决方案 ：使用 Kdump 捕获崩溃时的内存信息，通过 crash 工具分析 vmcore 文件，找出系统无响应的原因。

crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /path/to/vmcore

在 crash 中使用 ps 命令查看进程状态，找出导致系统无响应的进程或资源争用问题。

十、总结

Kdump 是 Linux 系统中非常重要的内核崩溃转储工具，通过捕获和分析崩溃时的内存信息，可以帮助运维人员快速定位和解决系统问题。结合 kexec 机制，Kdump 可以在不重启系统的情况下，加载并运行捕获内核，从而实现高效的崩溃转储和分析。