概览
在前一篇文章中，我描述了Linux 网桥（bridge）的配置，并展示了一个实验，其中使用Wireshark来分析流量。在本文中，我将讨论当创建一个网桥时会发生什么，以及Linux 网桥（bridge）的工作原理。
与网桥（bridge）相关的源代码可以在这里找到。
网桥设备
摘自《深入理解LINUX网络内幕》：
在Linux中，网桥(bridge)是一个虚拟设备。因此，除非你将其与一个或多个实际设备绑定，否则它无法接收或传输任何数据。
阅读上一篇文章后，有人问我，既然网桥(bridge)是一个第2层设备，为什么我们在运行ifconfig br0时会看到一个IP地址与之相关联呢？答案是，Linux的实现将网桥(bridge)和路由器(router)的功能结合在了一起。我们知道，网桥(bridge)有一个上行链路，它可以连接到路由器。而在Linux网桥(bridge)中，这种连接被内置于内核内部。这个路由器实际上就是网桥(bridge)所绑定的实际设备。我们稍后会详细讨论这部分内容。为了理解网桥(bridge)，我们可以简单地将这个IP地址视为网桥(bridge)的默认网关。如果我们想要一个私有网桥(bridge)的话，这个IP地址并不是必需的。
注：在Linux网络模型中，网桥(bridge)虽然本质上是二层设备，但其设计允许它拥有IP地址并执行层三的功能，主要是因为Linux将网桥(bridge)与路由器的部分功能进行了融合。这样做的目的是为了提供更加灵活的网络配置能力。然而，对于纯粹的层二桥接需求，这个IP地址可以忽略，因为桥接器的主要任务是在同一广播域内的设备之间转发数据包。
网桥数据结构
net_bridge 结构体的定义可以在这里找到。
下面仅列出了一些重要的字段：
struct net_bridge
{
spinlock_t lock;
struct list_head port_list;
struct net_device *dev;
spinlock_t hash_lock;
struct hlist_head hash[BR_HASH_SIZE];
bridge_id bridge_id;
...
}
port_list 是桥接器所拥有的端口列表。每个桥接器最多可以拥有 BR_MAX_PORTS（1024）个端口。dev 是指向表示桥接设备的 net_device 结构的指针。hash 是一个具有 BR_HASH_SIZE（256）个条目的转发哈希表。以便于快速查找和转发数据包。
创建网桥设备
可以通过命令 brctl addbr br0 来创建一个网桥。最终，这会调用带有请求 SIOCBRADDBR 的 ioctl 函数。
通过strace跟踪创建网桥的系统调用：
# strace brctl addbr br0
execve("/sbin/brctl", ["brctl", "addbr", "br0"], [/* 17 vars */]) = 0
...
ioctl(3, SIOCBRADDBR, "br0") = 0
...
如果我们搜索 SIOCBRADDBR 在源代码中的实现，我们会发现它是由 br_ioctl_deviceless_stub 函数处理的，同时处理的还有另外三个请求 - SIOCGIFBR, SIOCSIFBR 和 SIOCBRDELBR。
int br_ioctl_deviceless_stub(struct net *net, unsigned int cmd, void __user
*uarg) {
switch (cmd) {
case SIOCGIFBR:
case SIOCSIFBR:
...
case SIOCBRADDBR:
case SIOCBRDELBR:
...
}
...
}
该函数在初始化函数 br_init 中进行注册。
int __init br_init(void) {
...
brioctl_set(br_ioctl_deviceless_stub);
...
}
br_ioctl_deviceless_stub 调用 br_add_bridge，后者分配一个表示网桥的 net_device 结构，并使用 register_netdev 将此设备添加到内核的接口列表中。
int br_add_bridge(struct net *net, const char *name)
{
struct net_device *dev;
int res;
dev = alloc_netdev(sizeof(struct net_bridge), name, NET_NAME_UNKNOWN,
br_dev_setup);
...
res = register_netdev(dev);
...
return res;
}
alloc_netdev 被定义为一个宏，它是 alloc_netdev_mqs 的简化版本，而后者实际上是一种通用方法，用于分配 net_device 结构体，并非特指网桥。网桥作为私有数据存储在 net_device 结构中。（私有数据是指附加在 net_device 结构后的内存段。）alloc_netdev_mqs 所接受的回调函数用于设置这部分私有数据。在网桥的情况下，这个回调函数是 br_dev_setup。
struct net_device *alloc_netdev_mqs(..., void (*setup)(struct net_device *), ...) {
struct net_device *dev;
size_t alloc_size;
...
alloc_size = sizeof(struct net_device);
if (sizeof_priv) {
/* ensure 32-byte alignment of private area */
alloc_size = ALIGN(alloc_size, NETDEV_ALIGN);
alloc_size += sizeof_priv;
}
/* ensure 32-byte alignment of whole construct */
alloc_size += NETDEV_ALIGN - 1;
p = kzalloc(alloc_size, GFP_KERNEL | __GFP_NOWARN | __GFP_REPEAT);
...
dev = PTR_ALIGN(p, NETDEV_ALIGN);
...
setup(dev);
...
return dev
}
br_dev_setup 设置 net_device 的私有数据区域。它将这一段内存转换为 net_bridge 类型，并初始化每一个字段。
void br_dev_setup(struct net_device *dev) {
struct net_bridge *br = netdev_priv(dev);
...
dev->priv_flags = IFF_EBRIDGE;
br->dev = dev;
spin_lock_init(&br->lock);
INIT_LIST_HEAD(&br->port_list);
spin_lock_init(&br->hash_lock);
br->bridge_id.prio[0] = 0x80;
br->bridge_id.prio[1] = 0x00;
...
}
总结一下，创建一个网桥的调用栈如下：
ioctl(3, SIOCBRADDBR, "br0")
|- br_ioctl_deviceless_stub
|- br_add_bridge
|- alloc_netdev
|- br_dev_setup
|- register_netdev
经过这一步骤后，我们就有了一个 Linux 网桥设备。但是，此时还没有任何接口绑定到它上面，这意味着网桥还不能传输或接收任何数据。
添加接口
创建网桥之后，我们可以向它添加接口（端口）。尽管《深入理解LINUX网络内幕》一书中提到网桥必须绑定到一个"真实设备"，我认为这句话只对了一半。确实，一个网桥设备必须绑定到一个网络接口。然而，这并不一定意味着它必须绑定到一个"真实设备"，也就是说，它不必是实际物理网卡的接口。即使是 tap 接口，也可以绑定到网桥上使其正常工作。
用于绑定接口的命令是 brctl addif br0 tap0。这也被称为"从属(enslave)"，即我们让 tap0 成为 br0 的从属接口。
使用strace跟踪网桥添加端口的系统调用：
# strace brctl addif br0 tap0
execve("/sbin/brctl", ["brctl", "addif", "br0", "tap0"], [/* 17 vars */]) = 0
brk(NULL) = 0xf28000
...
ioctl(4, SIOCGIFINDEX, {ifr_name="tap0", }) = 0
close(4) = 0
ioctl(3, SIOCBRADDIF) = 0
它发出两个 ioctl 请求 - SIOCGIFINDEX 和 SIOCBRADDIF。第一个用于查询 tap0 接口的索引，第二个用于将 tap0 接口添加到网桥。我们只关注第二个。
SIOCBRADDIF 由 br_dev_ioctl 函数处理。
int br_dev_ioctl(struct net_device *dev, struct ifreq *rq, int cmd) {
struct net_bridge *br = netdev_priv(dev);
switch (cmd) {
...
case SIOCBRADDIF:
case SIOCBRDELIF:
return add_del_if(br, rq->ifr_ifindex, cmd == SIOCBRADDIF);
}
...
}
add_del_if 是 br_add_if 和 br_del_if 的包装器。在添加接口的情况下，会调用 br_add_if。以下是 br_add_if 中的一些重要步骤。
int br_add_if(struct net_bridge *br, struct net_device *dev) {
struct net_bridge_port *p;
... (Validation)
p = new_nbp(br, dev);
...
err = netdev_rx_handler_register(dev, br_handle_frame, p);
...
err = netdev_master_upper_dev_link(dev, br->dev);
...
list_add_rcu(&p->list, &br->port_list);
nbp_update_port_count(br);
...
if (br_fdb_insert(br, p, dev->dev_addr, 0))
netdev_err(dev, "failed insert local address bridge forwarding table\n");
...
return err;
}
基本上，br_add_if 执行以下操作：
-
进行一系列验证，确保该设备可以被绑定到网桥下。部分规则包括： a) 不允许类似非以太网的设备；
b) 已经被绑定的设备不允许再次绑定；
c) 设备本身不能是网桥；
d) 设备中不应存在
IFF_DONT_BRIDGE标志；等等。 -
分配并初始化一个
net_bridge_port结构体。稍后，该端口会被添加到网桥的port_list中。 -
为设备注册一个接收处理函数
br_handle_frame。发送到该设备的帧将由这个函数处理。我们后续会看到这个处理器具体做什么。 -
绑定设备，即让网桥成为这个设备的主控者。
-
将该设备的以太网地址作为本地条目添加到转发表中。
值得注意的是，在旧版本中，br_add_if 明确地将设备置于混杂模式。在 4.0 版本的内核中，这一点由 nbp_update_port_count 函数处理。
下图来自"Linux 网桥剖析"，展示了上述提及的函数之间的关系。
转发数据库
转发数据库存储了MAC地址与端口的映射关系。实现上，它使用了一个大小为 BR_HASH_SIZE（256）的哈希表（实际上是一个数组）作为转发数据库。数组中的每一项存储了一个单向链表的头指针（一个桶），该链表存储了所有哈希值落入该桶的MAC地址条目。参考上述 net_bridge 结构体中的 struct hlist_head hash[BR_HASH_SIZE]。MAC地址的哈希值由 br_mac_hash 计算得出。关于哈希算法的细节，我将略过不提。
表项结构
net_bridge_fdb_entry 是上述提到的链表的元素类型。
struct net_bridge_fdb_entry
{
struct hlist_node hlist;
struct net_bridge_port *dst;
struct rcu_head rcu;
unsigned long updated;
unsigned long used;
mac_addr addr;
unsigned char is_local:1,
is_static:1,
added_by_user:1,
added_by_external_learn:1;
__u16 vlan_id;
};
查找
由于实现方式采用了哈希表，查找过程与任何哈希表的查找相同。当网桥需要确定特定MAC地址的数据帧应转发到哪个端口时，它会在转发数据库中查找。因此，哈希表的键就是MAC地址。首先，它通过 br_mac_hash 获取MAC地址的哈希值，然后从该表项获取链表。接下来，它遍历整个链表，将MAC地址与每个元素进行比较，直到找到匹配的那一项。
更新条目
添加、更新和删除条目的操作都是典型的哈希表操作。我不会重复介绍它们是如何工作的，而是专注于这些操作何时发生。
当一个接口被添加到网桥上（即调用 br_add_if 时），会调用 br_fdb_insert 将被绑定设备的MAC地址插入到转发数据库中。 当本地端口上的设备更改其MAC地址（例如，通过命令 ifconfig eth0 hw ether 11:22:33:44:55:66），转发表中的条目会被更新。 当条目过期时，会删除该条目。通常情况下，如果一段时间内未使用某个条目，则该条目会过期。默认过期时间为5分钟，但这可以配置。定期调用 br_fdb_cleanup 来清理已过期的条目。
帧处理
入站数据首先由 netif_receive_skb 处理，这是一个通用的、与设备无关的函数。它会调用接收数据所在设备的 rx_handler。还记得在 br_add_if 中，我们为被绑定的设备注册了一个接收处理器 br_handle_frame 吗？在这里，这个处理器将被调用来处理设备上收到的数据。
br_handle_frame 首先进行一些基本检查，以确保这个帧是一个有效的以太网帧。然后它检查目的地是否为一个预留地址，这意味着这是一个控制帧。如果是的话，需要进行特殊处理。否则，它会调用 br_handle_frame_finish 来处理这个帧。
rx_handler_result_t br_handle_frame(struct sk_buff **pskb) {
const unsigned char *dest = eth_hdr(skb)->h_dest;
... (Validation code)
if (unlikely(is_link_local_ether_addr(dest))) {
/*
* See IEEE 802.1D Table 7-10 Reserved addresses
*
* Assignment Value
* Bridge Group Address 01-80-C2-00-00-00
* (MAC Control) 802.3 01-80-C2-00-00-01
* (Link Aggregation) 802.3 01-80-C2-00-00-02
* 802.1X PAE address 01-80-C2-00-00-03
*
* 802.1AB LLDP 01-80-C2-00-00-0E
*
* Others reserved for future standardization
*/
... (Special processing for control frame)
}
...
NF_HOOK(NFPROTO_BRIDGE, NF_BR_PRE_ROUTING, skb, skb->dev, NULL,
br_handle_frame_finish);
...
}
br_handle_frame_finish 执行以下步骤：
-
学习源MAC地址并更新转发数据库。
-
如果目标地址是一个多播地址，那么调用
br_multicast_rcv进行一些处理。 -
如何转发这个帧的决策取决于目标地址是广播地址、多播地址还是单播地址。规则如下：
注：如果接口处于混杂模式，那么无论目标地址是什么，这个帧都将被本地传递。而且，不一定需要开启混杂模式，因为在任何情况下，这个网桥处理器都会转发它。
下图来自"Linux 网桥剖析"，可能也有助于理解帧的处理过程。
结论
在这篇文章中，我们探讨了Linux网桥的实现方式，以及当我们配置网桥时所发生的事件，还有网桥如何处理帧的过程。这里有一个实验你可以尝试。首先，添加一个网桥。然后启动两个连接到这个网桥的虚拟机。通过命令 brctl showmacs br0 查看网桥的MAC地址表。看看两台虚拟机之间是否可以互相ping通。你还可以使用 tcpdump 或者 Wireshark 来捕获流量。回想一下每一步操作时发生了什么。
参考文献
[1] Benvenuti, Christian. 《深入理解LINUX网络内幕》. "O'Reilly Media, Inc.", 2006.
[2] Linux网桥的剖析
[3] Linux网桥 - 其工作原理