本文分享自天翼云开发者社区《使用 ftrace 跟踪内核丢包问题定位的实践》，作者：f****n
数据包的丢失可能会导致性能下降或服务中断。为了诊断内核中是否有丢包问题，我们可以使用 ftrace 工具进行内核级别的跟踪，定位导致数据包丢失的原因。下面通过一个实际的例子，来展示如何使用 ftrace 来跟踪网络丢包的问题。
一、背景
在一个高流量的网络环境中，可能会发生数据包丢失。这种丢包可能是由于内核中的调度延迟、网络驱动问题或资源争用等原因导致的。通过分析内核的网络栈，可以帮助我们定位丢包的具体原因。
二、启用 ftrace 并开始跟踪
首先，确保你的系统已经启用了 ftrace。你可以通过以下命令检查系统是否支持 ftrace：ls /sys/kernel/debug/tracing如果返回了相关的文件和目录，说明系统支持 ftrace。
接下来，我们将使用 ftrace 跟踪内核中与网络相关的函数调用，查看是否有异常的情况发生。
三、跟踪 tcp 发送和接收
丢包通常与 TCP 发送和接收有关，因此我们首先从 tcp_sendmsg 和 tcp_recvmsg 函数入手。可以通过以下步骤开启 ftrace 跟踪：
选择跟踪点：
我们将跟踪 tcp_sendmsg 和 tcp_recvmsg 这两个函数，它们分别处理数据包的发送和接收。
打开 ftrace 调试接口：echo function > /sys/kernel/debug/tracing/current_tracer
启用 tcp_sendmsg 和 tcp_recvmsg 跟踪：
在 ftrace 中，我们可以选择对特定的内核函数进行跟踪。我们将追踪 TCP 发送和接收相关的函数：
echo tcp_sendmsg > /sys/kernel/debug/tracing/set_ftrace_filter
echo tcp_recvmsg > /sys/kernel/debug/tracing/set_ftrace_filter
开始跟踪：
启动 ftrace 来记录内核函数的调用。
echo 1 > /sys/kernel/debug/tracing/tracing_on
查看跟踪结果：
通过查看 /sys/kernel/debug/tracing/trace 文件，我们可以看到 tcp_sendmsg 和 tcp_recvmsg 函数的调用情况。
cat /sys/kernel/debug/tracing/trace
这时，ftrace 会输出类似如下的内容：
<...>-1234 000 .... 10938.567892: tcp_sendmsg: skb=0x1234, len=1500, dest=192.168.1.10
<...>-1234 000 .... 10938.567895: tcp_sendmsg: skb=0x1235, len=1500, dest=192.168.1.10
<...>-1234 000 .... 10938.568002: tcp_recvmsg: skb=0x1236, len=1500, src=192.168.1.10
每一条记录都包含了发送和接收数据包的具体信息，例如数据包的长度、源/目标ip等。
四、分析丢包现象
假设在跟踪结果中，我们注意到 tcp_sendmsg 和 tcp_recvmsg 的日志显示有发送的数据包，但接收端并没有相应的接收记录。通过分析这些日志，我们可以判断出以下几种可能性：
网络层丢包：
如果发送的数据包数量大于接收的数据包数量，可能是由于网络层的丢包。此时，可以查看其他网络设备的日志，如交换机、路由器等，确认是否存在网络丢包。
内核队列拥塞：
如果发送的数据包都显示成功发送，但由于内核网络栈中存在队列拥塞，接收端可能无法及时接收数据包。在 ftrace 中，我们还可以查看 tcp_retransmit_skb 函数的调用情况。如果这个函数被频繁调用，说明存在数据包重传，可能是由于网络拥塞或内核的调度延迟导致的。
可以通过以下命令启用 tcp_retransmit_skb 跟踪：
echo tcp_retransmit_skb > /sys/kernel/debug/tracing/set_ftrace_filter
查看跟踪结果时，如果出现大量的重传记录，这就说明丢包发生的原因可能是网络拥塞或系统资源不足。
硬件问题：
如果数据包在网络接口上确实被成功发送，但没有到达接收端，可能是由于硬件问题（如网卡驱动故障或硬件故障）。此时可以通过查看 netif_receive_skb 和网卡驱动的 net_device 函数来分析是否存在硬件故障或驱动问题。
echo netif_receive_skb > /sys/kernel/debug/tracing/set_ftrace_filter
五、禁用跟踪和清理
完成分析后，记得停止跟踪并清理 ftrace 配置，以较少对系统性能产生影响。
停止跟踪：echo 0 > /sys/kernel/debug/tracing/tracing_on
清理过滤器：echo > /sys/kernel/debug/tracing/set_ftrace_filter
六、总结
通过使用 ftrace 工具跟踪内核中的网络函数调用，我们可以非常方便地分析网络丢包的问题。在本例中，我们通过跟踪 tcp_sendmsg 和 tcp_recvmsg 函数，结合 tcp_retransmit_skb 和 netif_receive_skb 等内核函数的日志，能够帮助我们快速定位丢包的原因。无论是网络拥塞、内核调度问题，还是硬件故障，ftrace 提供了一个非常强大的工具来诊断内核中的各类问题。