弱网演练的小插曲记录

1. 写在最前面

节前在做历史故障演练的 1:1 复现，以验收当前新增的监控告警可以覆盖历史的故障的监控。我被分配的一个演练场景是做弱网演练。

1.1 关于弱网

作为一个弱网的小白，先从了解弱网的概念开始。

弱网是指网络连接质量差、网速慢或不稳定的情况。与稳定的网络相比，弱网往往会出现延迟高、丢包率高、网络波动大等问题，进而影响用户的使用体验。

注：弱网的原因一般是由于网络带宽容量有限、信号干扰、设备性能较差、网络拥塞等。

1.2 关于插曲

知道了概念，以及明确要演练的场景包括机器失联、丢包率在 x 值时音视频的质量是否有下降，我开始在 google 查询「如何在 linux 端，构建弱网环境」。

在查了个大概后，我开始执行sudo tc qdisc add dev enp61s0f0 root netem loss 100% ，这是个丢包率 100% 的命令，然后机器就被我玩坏了，它彻底失联了！

注：复制粘贴执行命令需谨慎，否则你的机器可能会失联或需要重装

此处需实名感谢 PE 组的大佬，远程帮忙重启了机器，经历了半个小时的失联期，机器在重启后恢复了

注：此处还有个小八卦，听说之前的小伙伴还曾经设置过丢包 100% 作为系统的启动参数，然后这台机器靠重启也是恢复不了的，只能重新装机了。果然大佬都是见过大场面的。

2. 模拟弱网的工具

在经历了机器失联的小插曲后，同事推荐了另一个工具 blade 模拟弱网场景。但是我悄咪咪的看了下工具的介绍，在弱网场景下 blade 的底层使用的就是 tc 命令。

2.1 tc

2.1.1 原理

Netem 是 Linux 2.6 以上内核版本开始提供的一个网络模拟功能模块，它主要用来在性能良好的网络环境中，模拟出复杂的网络问题，比如高延迟、高丢包等问题。

Netem 是由命令行工具 tc 控制，tc 主要用于 Linux 内核的流量控制，主要是通过在输出端口处建立一个队列来实现流量控制，接收包从输入接口进来后，经过流量限制丢弃不符合规定的数据包，由输入多路分配器进行判断选择。

2.1.2 使用

模拟延迟传输 tc qdisc add dev eth0 root netem daly 100ms
- 模拟延迟的参数中提供了控制延迟到额时间分布可选参数：
  - JITTTER：网络抖动，增加一个随机事件长度，让延迟事件出现在某个范围
    - tc qdisc add dev eth0 root netem daly 100ms 10ms 延迟在 100ms ± 10ms 之间随机选择
  - CORRELATION：相关系数，下一个报文延迟事件和上一个报文的相关系数
    - tc qdisc add dev eth0 root netem daly 100ms 10ms 25% 因为网络状况是平滑变化的，短时间里相邻的报文的延迟应该是有相似性的
  - distribution：延迟分布，可以选择的值有 uniform、normal、pareto 和paretonormal
模拟丢包率 tc qdisc add dev eth0 root netem loss 50%
模拟包重复 tc qdisc add dev eth0 root netem duplicate 50%
模拟包损坏 tc qdisc add dev eth0 root netem corrupt 30%
模拟包乱序
- 每隔一定数量的报文乱序一次tc qdisc add dev eth0 root netem reorder 50% gap 3 delay 100ms
- 概率来选择乱序的报文 tc qdisc change dev eth0 root netem reorder 50% 15% delay 300ms

注：以上使用的示例中的 eth0 指网卡名称，测试的时候替换为自己使用的即可。强烈建议不要直接在生产环境直接测试

2.2 blade

2.2.1 原理

ChaosBlade 是阿里巴巴近十年故障测试和演练实践的基础上，提供的丰富的故障场景实现、帮助分布式系统提高容错性和可恢复性的混沌工程工具。

目前支持的演练场景有操作系统类的 CPU、磁盘、进程、网络等。

2.2.2 使用

blade 的网络问题模拟底层使用了 tc，但是 blade 本身是支持更多故障场景的模拟的，此处仅介绍网络问题的模拟。

模拟延迟传输 blade create network delay --time 3000 --offset 1000 --interface eth0 --local-port 8080,8081
模拟丢包率 blade create network loss --percent 70 --interface eth0 --local-port 8080,8081
模拟包重复 blade create network duplicate --percent 80 --destination-ip 180.101.49.12 --interface eth0
模拟包损坏 blade create network corrupt --percent 80 --destination-ip 180.101.49.12 --interface eth0
模拟包乱序 blade c network reorder --correlation 80 --percent 50 --gap 2 --time 500 --interface eth0 --destination-ip 180.101.49.12

3. tc vs iptable

为什么在这里浅浅对比了一下 tc 和 iptable 呢？

是因为，故障演练的时候，我的第一反应是使用 iptable 来直接过滤掉演练机器的所有流量。

Linux tc 和 iptables 是用于网络流量控制和防火墙设置的两个重要命令。下面是它们的使用对比：

功能：
- tc（Traffic Control）命令用于对网络流量进行调整和控制，可以限制、加速和改变网络数据包的传输速度、延迟和丢包率。
- iptables 命令用于设置 Linux 系统上的防火墙规则，可以过滤、转发和修改网络数据包。
使用场景：
- tc 命令主要用于网络流量控制，可以应用于带宽管理、流量限制、流量分类和策略路由等场景。
- iptables 命令主要用于网络安全，可以实现防火墙规则、端口转发、地址转换、数据包过滤和 NAT 等功能。
应用层次：
- tc 命令工作在网络协议栈的第二层（数据链路层）和第三层（网络层），可以直接控制网络接口和数据包流动。
- iptables 命令工作在网络协议栈的第三层（网络层）和第四层（传输层），主要对 IP 和 TCP/UDP 数据包进行处理。

4. 碎碎念

终于断断续续的写完了这篇小插曲，感觉又开始进入间歇性学习动力不足的阶段，那就不过分苛责自己，好好享受当下吧

Never be a prisoner of your past. It was just a lesson, not a life sentence
买定离手，落子无悔，我在哪里，我的背后就是退路
在你最艰难的时候，别老想着太远的将来，只要鼓励自己过好今天就好。这世间有太多的猝不及防，有些东西，根本不配占有你的情绪。人生就是一场体验，请你尽兴吧