Linux Hotplug 机制详解

Linux 的 Hotplug（热插拔）机制是内核中一项核心功能，允许系统在不重启的情况下动态添加、移除或修改硬件设备。这包括 USB 设备、PCI 卡、CPU、内存等。Hotplug 机制的起源可以追溯到 Linux 2.4 内核，当时主要用于处理 USB 和 PCMCIA 设备的动态变化。随着内核的发展，它演变为更全面的设备模型（Device Model），集成到 sysfs 和 uevent 子系统中。现代 Linux（如 5.x 内核）中，Hotplug 不仅处理外围设备，还扩展到 CPU 和内存的热插拔，支持虚拟化环境（如 KVM）和容器化（如 Docker）中的动态资源分配。

Hotplug 的设计原则是"事件驱动"和"用户-内核协作"：内核负责检测硬件变化并生成事件，用户空间工具（如 udev）负责实际的响应动作。这确保了系统的灵活性和安全性，避免内核直接处理用户级任务可能带来的风险。

1. Hotplug 的历史与演变

• 早期实现（Linux 2.4）：Hotplug 通过 /proc/sys/kernel/hotplug 接口调用用户空间脚本（如 /sbin/hotplug）。当设备事件发生时，内核设置环境变量（如 ACTION=add/remove, PRODUCT=设备ID）并执行脚本。这种方式简单但缺乏规则化，容易导致不一致的设备管理。
• 现代实现（Linux 2.6 及以后）：引入了 Kobject 和 uevent 系统。设备模型使用 sysfs（/sys 文件系统）暴露设备信息。uevent 通过 netlink socket 广播到用户空间，取代了直接脚本调用。udev（或 mdev）成为标准用户空间处理器，支持规则匹配和异步处理。
• 与相关机制的区别 ：
  • Coldplug：系统启动时处理已存在设备，通常通过 init 脚本（如 /etc/init.d/udev）模拟 uevent。
  • Plug and Play (PnP)：Hotplug 是 PnP 的扩展，PnP 更侧重于自动配置，而 Hotplug 强调动态性。
  • ACPI：Advanced Configuration and Power Interface，与 Hotplug 结合处理电源事件和设备通知。

2. 核心组件详解

• Kobject 和 Uevent 子系统 ：

  • Kobject 是内核对象的抽象，表示设备、驱动或子系统。每个 Kobject 都有一个 sysfs 入口（如 /sys/devices/）。

  • 当设备变化时，驱动调用 kobject_uevent_env() 生成 uevent。uevent 是一个键值对字符串，例如： text

    ACTION=add
    DEVPATH=/devices/pci0000:00/0000:00:14.0/usb1/1-1
    SUBSYSTEM=usb
    DEVTYPE=usb_device
    PRODUCT=1058/25a1/112
    TYPE=0/0/0
    INTERFACE=8/6/80
    MODALIAS=usb:v1058p25A1d0112dc00dsc00dp00ic08isc06ip50in00

  • uevent 通过 netlink（一种内核-用户通信协议）发送到多播组 KERNEL_UEVENT。用户空间进程（如 udevd）使用 libudev 监听并解析这些事件。

• Udev（User-space Device Event Manager） ：
  • Udev 是 systemd 的一部分（在非 systemd 系统如 BusyBox 中用 mdev 替代）。它运行在用户空间，监听 uevent 并根据规则文件（/lib/udev/rules.d/ 和 /etc/udev/rules.d/）匹配事件。
  • 规则语法：使用键值匹配，如 SUBSYSTEM=="usb", ACTION=="add", RUN+="/path/to/script"。
  • Udev 的处理步骤：
    1. 接收 uevent。
    2. 解析环境变量。
    3. 匹配规则（支持正则、环境变量替换如 %k 为设备名）。
    4. 执行动作：创建 /dev 节点（使用 mknod）、加载模块（modprobe）、设置权限（chown、chmod）、运行自定义程序。
  • 优势：异步处理、多线程、持久化设备名（通过 SYMLINK 创建如 /dev/disk/by-uuid/）。
• Mdev（Mini Udev） ：
  • BusyBox 的轻量版，适合嵌入式系统。配置在 /etc/mdev.conf，格式如 sd[a-z][0-9]* root:disk 660 @/path/to/script（@ 表示 add 时执行，$ 表示 remove 时）。
  • 相比 Udev，Mdev 更简单，无需额外守护进程，直接由 hotplug 内核接口调用。
• CPU 和内存 Hotplug ：
  • CPU Hotplug ：允许动态在线/离线 CPU 核心，用于节能、故障隔离或负载均衡。内核函数包括 cpu_up(cpu) 和 cpu_down(cpu)。
    • 过程：迁移进程（使用 scheduler）、停止/启动时钟和中断、更新 topology。
    • sysfs 接口：/sys/devices/system/cpu/cpuX/online（echo 1/0 启用/禁用）。
    • 限制：CPU0 通常不可热拔；在虚拟机中需 hypervisor 支持。
  • 内存 Hotplug：类似，处理内存块（memory sections）的添加/移除。通过 /sys/devices/system/memory/memoryX/online 接口。
• 模块热插拔 ：
  • 使用 insmod、modprobe 加载模块，rmmod 卸载。内核确保引用计数为零时才允许卸载，避免崩溃。

3. 完整处理流程

1. 硬件事件触发：设备插入/移除，驱动（如 usbcore）检测中断或 ACPI 通知。
2. 内核响应：调用 device_add() 或 device_remove()，生成 uevent。
3. uevent 广播：通过 netlink 发送到用户空间。
4. 用户空间接收：udevd 守护进程使用 socket 监听，fork 子进程处理。
5. 规则匹配与执行 ：
   • 加载驱动模块（如果 MODALIAS 匹配）。
   • 创建设备节点（如 /dev/sda）。
   • 通知上层服务（如 udisks 用于自动挂载）。
6. 移除流程：类似，但包括资源释放，如 umount 文件系统、卸载模块。
7. 错误处理：如果规则失败，日志记录到 /var/log/syslog 或 journalctl。

对于 CPU Hotplug 的详细内核流程：

• cpu_down()：
  • 停止 CPU 的 kthreads 和 workqueues。
  • 迁移 IRQ 和进程到其他 CPU。
  • 更新 CPU masks（如 cpu_online_mask）。
  • 通知 notifier chains（注册的回调，如 power management）。

4. 高级应用场景

• USB 设备：插入时自动加载 usb-storage 模块，创建分区节点，并通过 udisks 挂载。
• PCI Hotplug：在服务器中热换网卡，使用 pci_hotplug 模块。
• 虚拟化：在 KVM 中，Hotplug CPU/内存用于动态调整 VM 资源。
• 电源管理：结合 cpufreq 和 CPU Hotplug，在 idle 时离线核心。
• 故障恢复：检测故障 CPU 并热拔，切换到备用。
• 嵌入式系统：如 Raspberry Pi，使用 mdev 处理 SD 卡热插拔。

潜在问题与调试：

• 设备未识别：检查 dmesg 日志，确认驱动加载。
• 规则冲突：使用 udevadm test /devices/path 模拟事件。
• 性能瓶颈：过多规则导致延迟，使用 udevadm monitor 监控事件。

5. 示例代码（例程）

以下提供更多例程，包括 Udev 规则、Shell 脚本、内核模块示例和 CPU Hotplug 测试脚本。假设在 Ubuntu 或类似系统测试。

例程 1: 高级 Udev 规则（/etc/udev/rules.d/99-custom-usb.rules） 用于 USB 设备插入时自动挂载、通知用户，并根据厂商 ID 设置自定义名称。

text

# 匹配特定 USB 存储设备 (例如 Western Digital, PRODUCT 以 1058 开头)
SUBSYSTEM=="usb", ACTION=="add", ENV{PRODUCT}=="1058/*", SYMLINK+="myusb%n", RUN+="/usr/bin/notify-send 'USB Device Added' 'Mounted at /media/usb'"

# 添加分区时挂载
ACTION=="add", SUBSYSTEM=="block", KERNEL=="sd[a-z][0-9]*", ENV{DEVTYPE}=="partition", ENV{ID_FS_TYPE}=="vfat", RUN+="/bin/mkdir -p /media/usb%k", RUN+="/bin/mount -o uid=1000,gid=1000 /dev/%k /media/usb%k"

# 移除时清理
ACTION=="remove", SUBSYSTEM=="block", KERNEL=="sd[a-z][0-9]*", ENV{DEVTYPE}=="partition", RUN+="/bin/umount /media/usb%k", RUN+="/bin/rmdir /media/usb%k"

• 重载：udevadm control --reload-rules && udevadm trigger。
• 测试：插入 USB，检查通知和挂载。

例程 2: 自定义 Hotplug Shell 脚本（/usr/local/bin/hotplug-handler.sh） 适用于旧系统或自定义处理。假设通过 /proc/sys/kernel/hotplug 调用。

Bash

#!/bin/bash

# 日志文件
LOG=/var/log/hotplug.log

# 处理函数
handle_add() {
    echo "$(date): Device added - DEVPATH=$DEVPATH, SUBSYSTEM=$SUBSYSTEM" >> $LOG
    if [ "$SUBSYSTEM" = "usb" ]; then
        modprobe usb-storage
        sleep 1  # 等待设备就绪
        DEVICE=$(ls /dev/sd*1 2>/dev/null | tail -1)
        if [ -n "$DEVICE" ]; then
            mkdir -p /mnt/usb
            mount $DEVICE /mnt/usb
            echo "Mounted $DEVICE to /mnt/usb" >> $LOG
        fi
    fi
}

handle_remove() {
    echo "$(date): Device removed - DEVPATH=$DEVPATH" >> $LOG
    umount /mnt/usb 2>/dev/null
    rmdir /mnt/usb 2>/dev/null
}

# 根据 ACTION 分支
case "$ACTION" in
    add) handle_add ;;
    remove) handle_remove ;;
    *) echo "$(date): Unknown action $ACTION" >> $LOG ;;
esac

• 配置：echo "/usr/local/bin/hotplug-handler.sh" > /proc/sys/kernel/hotplug（仅旧内核）。
• 权限：chmod +x /usr/local/bin/hotplug-handler.sh。

例程 3: CPU Hotplug 测试脚本（/usr/local/bin/cpu-hotplug-test.sh） 用于测试 CPU 热插拔。假设系统有多个核心。

Bash

#!/bin/bash

# 检查 CPU 数量
NUM_CPUS=$(nproc)
echo "Total CPUs: $NUM_CPUS"

# 离线 CPU1 (如果存在)
if [ -f /sys/devices/system/cpu/cpu1/online ]; then
    echo "Offlining CPU1..."
    echo 0 > /sys/devices/system/cpu/cpu1/online
    sleep 2
    cat /sys/devices/system/cpu/cpu1/online  # 应为 0
else
    echo "CPU1 not available"
fi

# 在线 CPU1
echo "Onlining CPU1..."
echo 1 > /sys/devices/system/cpu/cpu1/online
sleep 2
cat /sys/devices/system/cpu/cpu1/online  # 应为 1

# 监控
echo "Current online CPUs:"
cat /sys/devices/system/cpu/online

• 执行：sudo bash /usr/local/bin/cpu-hotplug-test.sh。
• 注意：需 root 权限；在单核系统无效。

例程 4: 简单内核模块示例（hotplug_module.c） 演示如何在内核模块中注册 Hotplug 通知。编译后 insmod 测试。

C

#include <linux/module.h>
#include <linux/cpu.h>
#include <linux/notifier.h>

static int cpu_hotplug_notifier(struct notifier_block *nb, unsigned long action, void *hcpu) {
    unsigned int cpu = (unsigned long)hcpu;
    switch (action) {
        case CPU_ONLINE:
            printk(KERN_INFO "CPU %u online\n", cpu);
            break;
        case CPU_DEAD:
            printk(KERN_INFO "CPU %u offline\n", cpu);
            break;
    }
    return NOTIFY_OK;
}

static struct notifier_block cpu_hotplug_nb = {
    .notifier_call = cpu_hotplug_notifier,
    .priority = 0,
};

static int __init hotplug_init(void) {
    register_cpu_notifier(&cpu_hotplug_nb);
    printk(KERN_INFO "Hotplug notifier registered\n");
    return 0;
}

static void __exit hotplug_exit(void) {
    unregister_cpu_notifier(&cpu_hotplug_nb);
    printk(KERN_INFO "Hotplug notifier unregistered\n");
}

module_init(hotplug_init);
module_exit(hotplug_exit);
MODULE_LICENSE("GPL");

• 编译：使用 Makefile，make。
• 加载：insmod hotplug_module.ko。
• 测试：离线/在线 CPU，检查 dmesg 输出。

这些例程可根据需求扩展。例如，在生产环境中添加错误检查和日志。Hotplug 机制的深入理解需要阅读内核源码（如 drivers/base/core.c 中的 device_add）。如果涉及特定硬件，推荐查看内核文档（Documentation/driver-api/device.rst）。