嵌入式Linux驱动调试:printk的9个高阶用法,最后一个是救命级

嵌入式Linux驱动调试:printk的9个高阶用法,最后一个是救命级

一句话总结:printk不只是printk------掌握这些技巧,你能把内核日志从"噪音"变成"手术刀"。

做嵌入式Linux驱动开发的人,90%的时间都在跟printk打交道。

但我见过太多人只会两种printk用法:

  1. printk(KERN_INFO "xxx = %d\n", xxx);
  2. printk(KERN_ERR "error: %d\n", ret);

然后出了问题只会用dmesg看日志,满屏的打印看到眼瞎。

今天我把自己积累的一些printk高阶用法分享出来。每一个都是我在真实项目中验证过的,能让你少掉很多头发。


技巧一:用动态调试(Dynamic Debug)代替手动开关

这是最基础也是最重要的技巧------别再手动注释掉printk了。

大多数嵌入式工程师做调试的经典操作:

c 复制代码
#define DEBUG
#ifdef DEBUG
printk(KERN_DEBUG "fifo_write: offset=%d\n", off);
#endif

调试完了,把#define DEBUG注释掉。过两周又出问题了,再取消注释,编译,烧录,复现...

你一天的时间就浪费在"注释-编译-烧录-复现"这个循环里了。

正确的做法是用内核的动态调试机制(Dynamic Debug):

c 复制代码
pr_debug("fifo_write: offset=%d\n", off);

然后在运行时动态控制:

bash 复制代码
# 打开某个文件的全部调试信息
echo 'file fifo.c +p' > /sys/kernel/debug/dynamic_debug/control

# 打开某个函数的调试信息
echo 'func fifo_write +p' > /sys/kernel/debug/dynamic_debug/control

# 带条件的调试
echo 'file fifo.c line 123 +p' > /sys/kernel/debug/dynamic_debug/control

# 关闭
echo 'file fifo.c -p' > /sys/kernel/debug/dynamic_debug/control

优势:不需要重新编译内核,不需要重启设备,线上也能开日志。用完关掉,不占用生产环境的性能。

注意 :需要在编译内核时打开 CONFIG_DYNAMIC_DEBUG。大部分嵌入式Linux发行版都默认开了,但如果你是自己裁剪的内核,记得加上。


技巧二:用printk的级别控制过滤噪音

printk有8个级别,从高到低:

级别 含义
0 KERN_EMERG 紧急消息
1 KERN_ALERT 需要立即处理
2 KERN_CRIT 严重错误
3 KERN_ERR 错误
4 KERN_WARNING 警告
5 KERN_NOTICE 通知
6 KERN_INFO 信息
7 KERN_DEBUG 调试

关键配置是/proc/sys/kernel/printk

bash 复制代码
cat /proc/sys/kernel/printk
# 输出: 7       4       1       7
#       ^console ^default ^min     ^console_loglevel

这四个数字分别是:

  1. console_loglevel:比这个数字高的消息会打印到控制台
  2. default_message_loglevel:没指定级别的printk默认使用这个
  3. minimum_console_loglevel:console_loglevel能设置的最小值
  4. default_console_loglevel:console_loglevel的默认值

实战用法:

bash 复制代码
# 只打印错误以上的消息(生产环境)
echo "3 4 1 7" > /proc/sys/kernel/printk

# 全部打开(调试时)
echo "8 4 1 7" > /proc/sys/kernel/printk

# 只打印你自己的驱动日志(配合自定义级别)
echo "3 4 1 7" > /proc/sys/kernel/printk

这样你就不用在一堆"怪异鸡肋"的内核日志里大海捞针了。


技巧三:printk_ratelimited --- 防止"日志风暴"

嵌入式设备上最常见的调试事故:你在一个中断处理函数或者高频调用的函数里加了一行printk,然后------

boom!系统直接卡死。

不是printk本身卡死,而是你的串口/控制台被海量的日志撑爆了。特别是在115200波特率下,printk的传输速度大约只有11KB/s。如果你在1ms调一次的中断里打印一行50字节的日志,瞬间就有50KB/s的日志量------4倍于串口吞吐能力。

内核提供了限速版本:

c 复制代码
printk_ratelimited(KERN_INFO "spi_transfer: %d bytes\n", len);

默认配置是:5秒内最多打印10条,超出的丢弃。

也可以自定义:

c 复制代码
// 在文件开头定义自己的限速参数
static DEFINE_RATELIMIT_STATE(my_ratelimit, 5 * HZ, 10);

if (__ratelimit(&my_ratelimit))
    printk(KERN_INFO "i2c_transfer timeout: addr=0x%02x\n", addr);

这个技巧能救你一命------我见过不止一个同事因为在中断里加printk把系统打崩溃了,然后怀疑是硬件问题排查了两天。


技巧四:pr_cont --- 分步打印一行日志

当你需要在一个循环里打印数组或者缓冲区的完整内容时:

c 复制代码
// 错误的做法------每个元素一行
for (i = 0; i < len; i++)
    printk(KERN_DEBUG "buf[%d] = 0x%02x\n", i, buf[i]);

// 正确的做法------一行打印完
for (i = 0; i < len; i++)
    pr_cont("%02x ", buf[i]);
printk("\n");

pr_cont会延续上一行printk的输出,而不是另起一行。

但是要注意:pr_cont在多核系统中可能会被其他CPU的printk打断,导致输出错乱。如果实在需要保证完整性,可以先把内容拼接到一个局部缓冲区里,再用一次printk输出:

c 复制代码
char hexbuf[256];
int pos = 0;
for (i = 0; i < min(len, 64); i++)
    pos += snprintf(hexbuf + pos, sizeof(hexbuf) - pos, "%02x ", buf[i]);
printk(KERN_DEBUG "rx data: %s\n", hexbuf);

技巧五:printk + timestamp --- 精确测时

嵌入式调试中非常常见的问题:"这个操作到底花了多长时间?"

不要用jiffies手动算时间差------printk自带时间戳:

bash 复制代码
# 在printk消息前加上相对时间戳(从系统启动开始的秒数.微秒)
echo "Y" > /sys/module/printk/parameters/time

# 或者直接在kernel cmdline加
# printk.time=y

效果:

ini 复制代码
[    5.123456] dwc_otg_hcd: USB reset on port 1
[    5.234567] dwc_otg_hcd: USB reset done

这样你就能精确知道两个事件之间的时间差(在微秒级别)。

更高级的做法------用trace_printk代替printk做性能测量:

c 复制代码
// 比printk快100倍以上,适合高频调用场景
trace_printk("irq_handler: took %lu us\n", delta);

通过/sys/kernel/debug/tracing/trace查看输出。这是printk的替代方案中最轻量级的。


技巧六:hex_dump --- 协议调试神器

调试I2C/SPI/USB这类总线协议时,经常需要查看原始数据内容。

传统做法:

c 复制代码
for (i = 0; i < len; i++)
    printk(KERN_DEBUG "buf[%d] = 0x%02x\n", i, buf[i]);

内核提供了专用函数:

c 复制代码
print_hex_dump(KERN_DEBUG, "i2c tx: ", DUMP_PREFIX_OFFSET,
               16, 1, tx_buf, tx_len, true);

输出效果:

bash 复制代码
i2c tx: 00000000: 12 34 ab cd 78 9a bc de  f0 12 34 56 78 9a ab cd
i2c tx: 00000010: 12 34 56 78

参数含义:

  • DUMP_PREFIX_OFFSET:显示偏移地址
  • 16:每行16字节
  • 1:每个字节用1列
  • true:显示ASCII字符

这个函数在调试通信协议时,比任何调试器都好用。


技巧七:dump_stack --- 谁在调用我?

有时候你打开了一个驱动,发现某个函数被莫名其妙地调用了。你想知道是谁调的,怎么办?

c 复制代码
dump_stack();

输出:

yaml 复制代码
CPU: 0 PID: 123 Comm: kworker/u2:1 Not tainted 5.10.120 #1
Hardware name: MyBoard (DT)
Call trace:
 dump_backtrace+0x0/0x1a0
 show_stack+0x20/0x30
 dump_stack+0x74/0x90
 my_driver_write+0x3c/0x100  // <- 当前函数
 vfs_write+0xc4/0x1e0
 ksys_write+0x64/0xe0
 __arm64_sys_write+0x1c/0x30
 el0_svc_common+0x80/0x180
 do_el0_svc+0x24/0x90
 el0_sync_handler+0x88/0x100
 el0_sync+0x158/0x17c

一次调用就暴露了调用链,比你看3天的代码逻辑图都有效。

搭配技巧五的时间戳:

c 复制代码
if (delta > 100)
    dump_stack();  // 只有延迟超过100us才打印调用栈

技巧八:dev_dbg/dev_err --- 比printk更专业

驱动开发中,最好用dev_dbg/dev_err/dev_info系列函数,而不是裸printk:

c 复制代码
// 不推荐
printk(KERN_ERR "my_i2c_probe: i2c_add_driver failed\n");

// 推荐
dev_err(&i2c_client->dev, "i2c_add_driver failed\n");

输出效果:

css 复制代码
[   12.345678] my_i2c_device i2c-0: i2c_add_driver failed

优势:

  1. 自动带上设备名称,多设备时一眼看出是哪个实例
  2. 支持动态调试dev_dbg可以被dynamic debug控制)
  3. 代码更干净,更符合内核编码规范
  4. 一致性------所有内核驱动都用这套接口

我见过最混乱的项目:一个驱动里混用了printkpr_infodev_errprint_msg(自己封装的)四种打印方式,后来排查问题时队友直接崩溃。

统一用dev_xxx系列,跟内核社区保持一致。


技巧九:最后一个是救命级 --- printk死锁与NMI panic

最最最危险的情况:系统已经死了,但你想知道死在哪。

正常情况下,printk要用到自旋锁(console_lock)来保护串口输出。但如果系统是在持有这个锁的时候死锁的,你的printk永远也打不出来。

这时候你需要NMI(Non-Maskable Interrupt)printk

c 复制代码
// 配置NMI watchdog
echo 1 > /proc/sys/kernel/nmi_watchdog
echo 10 > /proc/sys/kernel/panic

// 或者在内核cmdline加上
// nmi_watchdog=1 panic=10

当系统死锁超过10秒,NMI watchdog会触发panic,然后打印一个"神奇"的backtrace------即使console_lock被死锁持有,NMI中断也能绕过它直接写串口。

bash 复制代码
# 模拟死锁
echo c > /proc/sysrq-trigger

或者更优雅地------用SysRq键:

bash 复制代码
# 触发一次完整的dump
echo t > /proc/sysrq-trigger  # 显示所有任务状态
echo w > /proc/sysrq-trigger  # 显示D状态(不可中断睡眠)任务
echo l > /proc/sysrq-trigger  # 显示所有CPU的backtrace

如果硬件串口可用,按Alt+SysRq+t(嵌入式设备上通常是Alt+PrintScreen+t)。

这个技巧在量产现场救过我两次 ------一次是I2C总线死锁,一次是中断处理函数里调了msleep导致系统挂死。没有这个技巧,我只能飞过去用JTAG连板子看,成本差一个数量级。


完整决策流程图

graph TD Start{需要调试} --> Count{打印频率高吗} Count -->|高,每毫秒级| TD[trace_printk] Count -->|中等,每秒几次| DD[dynamic debug] Count -->|低,偶发| PRINTK[普通printk] DD --> NeedTime{需要时间戳} NeedTime -->|是| TIME[printk.time=y] NeedTime -->|否| NORMAL[正常使用] TD --> TraceFile[查看/sys/kernel/debug/tracing/trace] Start --> Format{需要打印什么} Format -->|二进制数据| HEX[print_hex_dump] Format -->|调用栈| STACK[dump_stack] Format -->|设备信息| DEV[dev_dbg/dev_err] Start --> System{SysRq可用} System -->|是| SYSRQ[Alt+SysRq+t/w/l] System -->|否| NMI[配置nmi_watchdog] style TD fill:#ff6b6b,color:#fff style SYSRQ fill:#4ecdc4,color:#fff style NMI fill:#45b7d1,color:#fff

最后

printk看着简单,但真正用好的人不多。这9个技巧如果你能掌握一半以上,你的kernel调试效率至少提升3倍。

记住最核心的原则:

  1. 不要直接printk --- 用dev_dbg/pr_debug,配合dynamic debug控制
  2. 不要污染串口 --- 生产环境把console_loglevel设为3
  3. 不要手动注释代码 --- 用运行时开关
  4. 不要等系统挂了才想怎么调试 --- 提前配好nmi_watchdog

嵌入式开发最大的成本不是硬件,不是软件,是**"等"**------等编译、等烧录、等复现、等日志。

printk用好了,能让你少等至少一半的时间。

相关推荐
dddwjzx2 小时前
嵌入式Linux C应用编程——输入设备
linux·嵌入式
潘潘的嵌入式日记2 天前
改完Keil工程文件被缓存覆盖?——uvprojx编辑的进阶四坑
xml·嵌入式·keil·调试·mdk·工程文件
ICECREAM2 天前
嵌入式 —— 串口与 UART 深入详解 —— i.MX6ULL 实战
嵌入式
浅止菌2 天前
嵌入式Linux内存优化:从OOM到稳定运行的6个实战技巧
嵌入式
大辉狼_音频架构2 天前
Vol.05 VendorHAL-NXP
嵌入式·音视频开发
声讯电子2 天前
AU-60 VS A-59F 语音模组完整对比(研发选型专用)
嵌入式·ai降噪·回声消除·语音模组
Highcharts2 天前
用 Highcharts 构建交互式 ICU 实时生命体征监护仪表盘
嵌入式·数据可视化
左手厨刀右手茼蒿5 天前
PCIe设备驱动开发:从枚举到DMA传输的完整链路
linux·嵌入式·系统内核
济6175 天前
I.MX6U Linux 驱动开发篇---零基础必看!中断实验(按键中断 + 定时器消抖 + 设备树配置实战教程)--- Ubuntu20.04
linux·驱动开发·嵌入式·嵌入式linux驱动开发