TCP重传率高与传输延迟问题

指标解释 ：node_netstat_Tcp_RetransSegs 表示 TCP 重传段的累计数量，rate(...[3m]) 计算过去 3 分钟内每秒平均重传速率。高重传率（如持续超过 100/s）可能由网络拥塞、丢包或连接不稳定导致。
阈值判断：结合历史基线数据，若重传率突增或持续高位，需进一步定位。

网络层指标 ：
- 检查网络接口错误包：rate(node_network_receive_errs_total[3m]) 和 rate(node_network_transmit_errs_total[3m])，确认是否因硬件故障或驱动问题导致丢包。
- 观察带宽利用率：rate(node_network_transmit_bytes_total[3m])，高负载可能引发拥塞。
TCP 连接状态 ：
- 监控连接数波动：node_netstat_Tcp_CurrEstab（当前 ESTABLISHED 连接数），连接数激增可能导致资源争抢。

按实例/IP 筛选 ：
promql 复制代码
```
topk(5, rate(node_netstat_Tcp_RetransSegs{instance=~"$target"}[3m]))
```
确定重传集中在特定节点或服务 IP。
结合应用层指标 ：
- 若使用 Kubernetes，通过 kube_pod_container_resource_limits 和 kube_pod_status_phase 检查 Pod 资源是否过载。
- 调用链追踪（如 Jaeger）分析重传是否与特定服务调用相关。

网络优化 ：
- 调整内核参数：降低 net.ipv4.tcp_retries2（默认 15）减少重试次数，但需权衡可靠性。
- 优化 MTU 和 TCP 窗口大小：通过 ethtool 检查网卡配置，避免分片或窗口溢出。
应用层调整 ：
- 设置合理的连接超时和重试机制，避免无效连接堆积。
- 使用连接池减少短连接频繁建立/拆除的开销。
基础设施检查 ：
- 通过 Prometheus Blackbox Exporter 对目标服务进行 TCP 探测，验证网络路径质量。

确认网络设备状态
- 检查服务器网卡状态：ethtool <网卡名>，关注Errors和Dropped字段
- 查看带宽使用率：nload或iftop，排除带宽占满问题
检查TCP连接状态
bash 复制代码
```
ss -s | grep retrans  # 查看全局TCP重传统计
ss -ti  # 查看各连接RTT（round trip time）和重传次数
```
若特定连接retrans值异常，需针对性分析（如高延迟的远程地址）

路由与链路质量测试
bash 复制代码
```
traceroute <目标IP>  # 定位路由跳数异常
mtr --report <目标IP>  # 持续监测丢包率
```
若中间节点丢包率>1%，需联系网络运营商排查
抓包分析重传原因
bash 复制代码
```
tcpdump -i <网卡> -w retrans.pcap 'tcp[tcpflags] & (tcp-syn|tcp-ack) != 0'
```
使用Wireshark分析retrans.pcap，关注：
- 重复ACK（快速重传触发）
- 超时重传（RTO超过200ms）
- 乱序包比例（tcptrace工具可量化）

内核参数调优

检查关键参数（引用[3]相关配置）：

bash 复制代码

sysctl net.ipv4.tcp_retries2  # 默认15次重传（建议5-8）
sysctl net.ipv4.tcp_slow_start_after_idle  # 建议设为0（禁用慢启动）

可添加至/etc/sysctl.conf：

conf 复制代码

net.ipv4.tcp_retries2 = 5
net.ipv4.tcp_slow_start_after_idle = 0

防火墙与端口限制
- 检查netstat -tnlp（引用[2]方法）确认端口监听状态
- 验证防火墙规则：iptables -L -n -v，排除误拦截TCP报文

关联监控指标
在Grafana（端口3000）中创建仪表盘，组合监控：
promql 复制代码
```
rate(node_netstat_Tcp_RetransSegs[3m]) > 50  # 自定义阈值
+ 
(probe_http_duration_seconds{phase="connect"} > 1)
```
结合Alertmanager（端口9093）设置复合告警规则（参考引用[5]语法）