螺蛳壳里做道场：老破机搭建的私人数据中心---Centos下Docker学习06（Docker网络连接）

如果要搭建基于docker的私人DC，除了虚拟机网络连接外，就得掌握docker的网络连接。磨刀不误砍柴工，或者说工欲善其事必先利其器，我们先学学典型的docker的网络连接方式。Docker的网络连接有四种：bridge、none、container和host四种。Docker的网络连接掌握不好，和虚拟机的桥接、host-only、nat等联网方式一组合，那就会彻底让人懵逼的。下面我们走马观花地了解一下。

6.1 概述

Docker在安装后自动提供3种网络，可以使用docker network ls命令查看

|------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# docker network ls NETWORK ID NAME DRIVER SCOPE 5b9360433700 bridge bridge local bf3fa21ccf2e host host local c8f298d46dba none null local |

Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。

docker的4种网络模式

网络模式	配置	说明
host	--network host	容器和宿主机共享Network namespace
container	--network container:NAME_OR_ID	容器和另外一个容器共享Network namespace
none	--network none	容器有独立的Network namespace，但并没有对其进行任何网络设置，如分配veth pair 和网桥连接，配置IP等
bridge	--network bridge	默认模式

6.2 bridge模式

当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。

bridge模式是docker的默认网络模式，不写--network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

图6- 1

6.3 container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

图6- 2

6.4 host模式

如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

图6- 3

6.5 none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过--network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

图6- 4

6.6 docker容器网络配置

1 ） Linux 内核实现名称空间的创建

ip netns命令

可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要 sudo 权限。

可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：

复制代码

默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。

2 ）创建 Network Namespace

通过命令创建一个名为ns0的命名空间：

|-----------------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip netns list [root@wzz ~]# ip netns add ns0 [root@wzz ~]# ip netns list ns0 |

新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报Cannot create namespace file "/var/run/netns/ns0": File exists的错误。

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@localhost ~]# ls /var/run/netns/ ns0 [root@localhost ~]# ip netns add ns0 Cannot create namespace file "/var/run/netns/ns0": File exists |

复制代码

对于每个 Network Namespace 来说，它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。

3 ）操作 Network Namespace

ip命令提供了ip netns exec子命令可以在对应的 Network Namespace 中执行命令。

查看新创建 Network Namespace 的网卡信息

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns0 ip addr 1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 |

可以看到，新创建的Network Namespace中会默认创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去 ping 该lo回环网卡，会提示Network is unreachable

|------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns0 ping 127.0.0.1 connect: 网络不可达 |

通过下面的命令启用lo回环网卡：

复制代码

4 ）转移设备

我们可以在不同的 Network Namespace 之间转移设备（如veth）。由于一个设备只能属于一个 Network Namespace ，所以转移后在这个 Network Namespace 内就看不到这个设备了。其中，veth设备属于可转移设备，而很多其它设备（如lo、vxlan、ppp、bridge等）是不可以转移的。

5 ） veth pair

veth pair 全称是 Virtual Ethernet Pair，是一个成对的端口，所有从这对端口一端进入的数据包都将从另一端出来，反之也是一样。引入veth pair是为了在不同的 Network Namespace 直接进行通信，利用它可以直接将两个 Network Namespace 连接起来。

图6- 5

创建veth pair

|--------------------------------------------------------------|
| [root@wzz ~]# ip link add type veth [root@wzz ~]# ip a |

图6- 6

复制代码

可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于"未启用"状态。

6 ）实现 Network Namespace 间通信

下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为ns0的 Network Namespace，下面再创建一个信息Network Namespace，命名为ns1

|--------------------------------------------------------------------------|
| [root@wzz ~]# ip netns add ns1 [root@wzz ~]# ip netns list ns1 ns0 |

然后我们将veth0加入到ns0，将veth1加入到ns1

|-------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip link set veth0 netns ns0 [root@wzz ~]# ip link set veth1 netns ns1 |

然后我们分别为这对veth pair配置上ip地址，并启用它们

查看这对veth pair的状态

|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns0 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 5: veth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether a2:52:5d:72:6d:42 brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet 10.0.0.1/24 scope global veth0 valid_lft forever preferred_lft forever inet6 fe80::a052:5dff:fe72:6d42/64 scope link valid_lft forever preferred_lft forever [root@wzz ~]# ip netns exec ns1 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 6: veth1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether ee:e2:23:ea:81:0d brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 10.0.0.24/24 scope global veth1 valid_lft forever preferred_lft forever inet6 fe80::ece2:23ff:feea:810d/64 scope link valid_lft forever preferred_lft forever |

从上面可以看出，我们已经成功启用了这个veth pair，并为每个veth设备分配了对应的ip地址。我们尝试在ns1中访问ns0中的ip地址：

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns1 ping 10.0.0.1 PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data. 64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.050 ms 64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.090 ms |

复制代码

7 ） veth 设备重命名

需要先停用设备才能重命名

|-----------------------------------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns0 ip link set dev veth1 name wzz1 Cannot find device "veth1" |

停用veth1

|-----------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns1 ip link set veth1 down |

将veth1重命名为wzz1

|--------------------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns1 ip link set dev veth1 name wzz1 |

启用wzz1

|--------------------------------------------------------|
| [root@wzz ~]# ip netns exec ns1 ip link set wzz1 up |

查看是否修改成功

复制代码

6.7 四种网络模式配置

1 ） bridge 模式配置

--rm是退出即销毁。退出t1，并查看一下

|------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES [root@wzz ~]# |

确实销毁了。

在创建容器时添加--network bridge与不加--network选项效果是一致的

复制代码

2 ） none 模式配置

除了环回口，啥也没有。

3 ） container 模式配置

启动第一个容器

同时开启虚拟机两个进程，按下图复制一份

图6- 7

另一个进程启动虚拟机b2

测试一下两台虚拟机连通性（b2）：

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| / # ping 172.17.0.2 -c 2 PING 172.17.0.2 (172.17.0.2): 56 data bytes 64 bytes from 172.17.0.2: seq=0 ttl=64 time=2.178 ms 64 bytes from 172.17.0.2: seq=1 ttl=64 time=0.245 ms |

销毁b2，重新启动一个和b1的IP相同的容器，即共享IP，但不共享文件系统。

可以看见，除了ip一模一样，连MAC都是一样的。我们在b1容器上创建一个目录

图6- 8

到b2容器上检查/tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，仅仅是共享了网络而已。

图6- 9

在b2容器上部署一个站点

|------------------------------------------------------------------------------------|
| / # echo 'hello world' > /tmp/index.html / # ls /tmp index.html / # httpd -h /tmp |

在b2上查看

|------------------------------------------------------------------------------------------------------------------------------------------------------------|
| / # netstat -antl Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 :::80 :::* LISTEN |

图6- 10

在b1上访问

|--------------------------------------------|
| / # wget -O - -q 172.17.0.2:80 hello world |

图6- 11

由此可见，container模式下的容器间关系就相当于一台主机上的两个不同进程。

4 ） host 模式配置

启动容器时直接指明模式为host

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# docker run -it --name b2 --rm --network host busybox / # ifconfig docker0 Link encap:Ethernet HWaddr 02:42:B8:D4:E2:E3 inet addr:172.17.0.1 Bcast:172.17.255.255 Mask:255.255.0.0 inet6 addr: fe80::42:b8ff:fed4:e2e3/64 Scope:Link UP BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:1 errors:0 dropped:0 overruns:0 frame:0 TX packets:5 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:28 (28.0 B) TX bytes:438 (438.0 B) ens33 Link encap:Ethernet HWaddr 00:0C:29:D3:92:C2 inet addr:192.168.137.135 Bcast:192.168.137.255 Mask:255.255.255.0 inet6 addr: fe80::daa2:2749:f7a6:1c50/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:200502 errors:0 dropped:0 overruns:0 frame:0 TX packets:12555 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:250356402 (238.7 MiB) TX bytes:1181746 (1.1 MiB) ens36 Link encap:Ethernet HWaddr 00:0C:29:D3:92:CC inet addr:192.168.0.20 Bcast:192.168.0.255 Mask:255.255.255.0 inet6 addr: fe80::f5fa:bd2c:d6dd:2aa0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:469135 errors:0 dropped:1399 overruns:0 frame:0 TX packets:56538 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:615288285 (586.7 MiB) TX bytes:4316266 (4.1 MiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:126 errors:0 dropped:0 overruns:0 frame:0 TX packets:126 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11136 (10.8 KiB) TX bytes:11136 (10.8 KiB) |

此时如果我们在这个容器中启动一个http站点，我们就可以直接用宿主机的IP直接在浏览器中访问这个容器中的站点了。在b2上搭建一个网站：

|------------------------------------------------------------------|
| / #echo 'I am container 2!' > /tmp/index.html / # httpd -h /tmp |

复制代码

启动一个b1容器，并访问主机ip

|-----------------------------------------------------------------------------------------------------------------------|
| [root@wzz ~]# docker run -it --name b1 --rm --network host busybox / # wget -O - -q 192.168.0.20 I am container 2! |

图6- 12

可见，容器和主机共享ip地址。

到目前为止，我们做好了虚拟机的nat、host-only和桥接的练习，进行了虚拟机的4种网络连接实践，还对私人DC做了初步的IP规划，并试探性的搭建了私人DC的心跳时钟--NTP服务器。接下来，下面我们将进行模拟私人DC服务器的容器生成及初始化工作。敬请期待！

芝兰生于幽谷，不以无人而不芳；君子不为名修，久历岁月而求索。