eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“

环境:Rocky Linux 9.8(内核 5.14.0),bpftrace 0.24.2,真机验证通过。文中的聚合脚本是我值守探针里实际在跑的简化版。CentOS 7(内核 3.10)用户文末有交代。

一、为什么你需要 eBPF(哪怕你从没写过内核代码)

先看一个传统运维都遇到过的场景:CPU 突然飙高,top 看到是个陌生进程;再一看,进程已经退出,现场什么都没留下。

top、vmstat、sar 这类工具的盲区在于:它们只能看到当下 的采样点,看不到已经发生过的事件。进程一退出、连接一断开,证据就消失了。

eBPF 解决的就是这个问题:它在内核里挂上探针,把发生过的每一件事记下来------谁 exec 了什么程序、哪条 TCP 连接在重传、哪些磁盘 IO 超过了 8ms。相当于给服务器装了持续录像的摄像头,而不是每 5 秒拍一张照片。

而 bpftrace 让这件事的门槛降到了"会写一行 awk"的程度。不需要懂 C、不需要编译内核模块、不需要 kernel-devel 头文件(后文详述),一个文本脚本就是一个观测工具。

二、环境门槛:你的机器能不能跑

三行命令自检:

bash 复制代码
# 1. 内核版本:主版本 >= 5 才有完整的 BTF/tracepoint 支持
uname -r        # 5.14.0-687.el9.x86_64 ✅

# 2. BTF(内核类型信息):有它就不用装 kernel-devel
ls /sys/kernel/btf/vmlinux

# 3. 装 bpftrace(Rocky 9 官方源就有,单包即用)
dnf install bpftrace
bpftrace --version    # 0.24.2

BTF 是关键中的关键 :它把内核数据结构定义以二进制形式挂在 /sys/kernel/btf/vmlinux,bpftrace 直接读取,不再需要按内核版本号装 devel 头文件。Rocky 9 / RHEL 9 / Ubuntu 22.04+ 默认带 BTF;CentOS 7.9(内核 3.10)没有 BTF 也没有新版 tracepoint,这条路走不通------老机器留在传统监控,新机器上 eBPF,这是我的探针做的分级设计。

三、五个脚本入门:从 hello world 到生产可用

3.1 第一个脚本:追踪所有进程执行

bash 复制代码
bpftrace -e 'tracepoint:syscalls:sys_enter_execve { printf("%s %s\n", comm, str(args->filename)); }'

输出(另开终端随便敲几条命令):

复制代码
bash /usr/bin/ls
bash /usr/bin/grep
vim /etc/hosts

comm 是进程名,str(args->filename) 是被执行的文件路径------一行脚本,一个实时 exec 记录仪。top 看不到的东西,这里全都有账。

3.2 TCP 重传:网络质量的"心电图"

bash 复制代码
bpftrace -e 'tracepoint:tcp:tcp_retransmit_skb { @[comm] = count(); } interval:s:10 { print(@); clear(@); }'

每 10 秒按进程聚合一次重传计数。我实测在负载场景下一个 30 秒窗口抓到过上百次重传------这在 sar 的均值里完全看不出来,但对 TCP 应用的影响是实打实的。

3.3 磁盘慢 IO:谁在拖累数据库

bash 复制代码
bpftrace -e 'tracepoint:block:block_rq_issue { @start[args->dev, args->sector] = nsecs; }
tracepoint:block:block_rq_complete /@start[args->dev, args->sector]/ {
  $d = (nsecs - @start[args->dev, args->sector]) / 1000000;
  if ($d > 8) { printf("slow %d ms comm=%s\n", $d, comm); }
  delete(@start[args->dev, args->sector]);
}'

只打印超过 8ms 的 IO,并带上发起进程名。数据库变慢时,这条比任何监控大盘都更接近真相------它告诉你具体是哪个进程的哪一次 IO 慢了。

3.4 入侵检测视角:web 进程拉起 shell

把 3.1 的思路收窄:正常情况下,nginx/php 这些 web 进程永远不应该 exec 出 /bin/sh。出现了,就是 webshell/命令注入的强特征:

bash 复制代码
bpftrace -e 'tracepoint:syscalls:sys_enter_execve
/@wcnt[comm] < 20 && (comm == "nginx" || comm == "php-fpm" || comm == "httpd")/
{ printf("SUSPECT %s -> %s\n", comm, str(args->filename)); @wcnt[comm]++; }
interval:s:30 { clear(@wcnt); }'

我在真机上做过演练:用名为 nginx 的进程拉起 /bin/sh,这条脚本实时抓到了 nginx -> /bin/sh 的完整记录。限流 @wcnt < 20 是必要的------防止攻击者用高频调用把你和内核一起灌爆。

3.5 可疑下载执行链:抓 curl xxx | bash

进阶一点:登记下载类进程(curl/wget)的 PID,追踪它们派生的子进程 exec:

复制代码
sched:sched_process_exec       → 登记 curl/wget 的 pid
sys_enter_execve               → 判断当前进程的 real_parent 是否在登记表里

这条链能实时输出 curl -> /usr/bin/chmod、wget -> /tmp/.xxx 这样的关联记录------单独看 chmod 777 无害,看一眼它的"爹"是 curl 就完全不同了。注意一个语义坑:必须在 sched_process_exec 里登记 PID 。execve 的 tracepoint 触发时 comm 还是旧程序的名字(exec 还没完成名字切换),在这里登记会张冠李戴。

四、生产化:常驻采集的三个工程要点

单次 bpftrace -e 是玩具,要进值守体系,实际要解决三件事:

1. 编译耗时决定架构 。bpftrace 每次启动要编译 BPF 程序(实测 1~2 秒),不能每轮采集都拉起。正确姿势是 nohup 单实例常驻,脚本内部按窗口聚合,周期性把结果写成一行 K=V 到输出文件:

复制代码
EBPF1 exec=102 rtx=37 slowio=2
_TOP bash=73 xargs=15 nohup=7
_SLOW sda=12ms:3次

采集端每 30 秒增量读这个文件即可。实测常驻 bpftrace 的 CPU 占用为 0%(多次 ps 采样全 0.0)------eBPF 的开销远比想象中低,这点可以放心。

2. SSH 场景的 SIGHUP 坑 。如果通过 SSH 远程拉起(ssh host "cmd &"),不读输出的进程会被 SIGHUP 杀死。一律 nohup 落盘重定向,这也是排查"脚本远程启动就死"的第一检查项。

3. 版本戳机制 。脚本升级后,旧常驻进程还在跑旧逻辑。给输出加版本戳(如 EBPF1 → EBPF2),采集端发现版本不符就 kill 旧进程重启------否则你会对着旧脚本的输出做新逻辑的判断,排查到怀疑人生。

五、踩坑实录(bpftrace 0.24 实测)

  1. count() 聚合 map 进 printf 必须显式转型 :printf("%d", @map) 报 unsupported format specifier for type 'count_t',要写 (uint64)@map。更阴险的是这个报错走 stderr 且不退出 ------输出文件静默为空,你会以为脚本根本没执行。live 验证时先 cat stderr。
  2. stderr 不看 = 白测:接上一条,bpftrace 的编译错误大多进 stderr,远程采集场景 stderr 若被丢弃,任何验证都是空转。
  3. 基线轮次要预留:输出文件从无到有、聚合窗从空到满,自动采集系统的增量读取要预留 3~4 轮的启动时序,否则误判"脚本失效"。
  4. CentOS 7 别硬来:内核 3.10 无 BTF,bpftrace 新版装不上也跑不动,分级降级到传统采集才是正路。

六、写在最后

eBPF 观测的门槛,2026 年的今天已经低到"一行脚本"------难的不再是技术,而是观测什么:exec 突发、TCP 重传、慢 IO、web 拉壳、下载执行链,这五个场景覆盖了性能异常和入侵行为的大多数真相时刻。

这套脚本我已经合进了自己的自动值守探针(内核 ≥5 自动启用,老机器自动降级),配合前文的日志审计探针,构成"内核事件 + 系统日志"的双摄像头体系。下一篇讲文件完整性监控(FIM):基线、diff、webshell 三分类告警。


(完) 系列前作:《Linux 入侵排查实战:从一条可疑 crontab 开始》。欢迎关注追更。

相关推荐
星恒随风18 分钟前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
分布式存储与RustFS44 分钟前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋1 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森3 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
布莱克6053 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
橙橙子2304 小时前
Linux----libevent
linux·运维·服务器
如夏倾城5 小时前
五大远程桌面协议:RDP、SSH、VNC/RFB、Citrix ICA/HDX 与 VMware Blast Extreme
运维·windows·网络协议·安全·自动化·ssh·远程工作
无足鸟ICT5 小时前
【RHCA+】numactl命令(管理numa)
linux·运维·服务器
飞奔的瓜牛7 小时前
CentOS 7 系统优化实战指南:从内核参数到服务精简
linux·运维·centos