最近为了项目需要,把docker 的远程端口2375 给开放了。不出意外出意外了。没多久,网站报流量告警,第一反应就是开放2375这个端口问题导致,毫不迟疑直接切换服务器。关闭该台服务器的docker服务,并逐步清理掉挖矿进程,过程之艰辛就不想再提起。业务原因又不得不要开放该端口,下面备忘一下修复该漏洞的过程。
Docker本身提供了加密的远程管理端口2376,配合CA证书,就能提供TLS连接了。要想修复该漏洞,其实主要就准备几个证书的事。
第一步,准备证书
主要是5个证书和秘钥文件,分别是ca.pem、server-cert.pem、server-key.pem、client-cert.pem和client-key.pem。其中,server-cert.pem中限制了能够访问Docker主机的客户端列表。
1.生成CA私钥ca-key.pem,使用该私钥对CA证书签名。(ca-key.pem是一个临时文件,最后可以删除。)
shell
[root@web-dev01 dockerauth]# openssl genrsa -out ~/dockerauth/ca-key.pem 4096
2.使用CA私钥生成自签名CA证书ca.pem。生成证书时,通过-days 365设置证书的有效期。单位为天,默认情况下为30天。
shell
[root@web-dev01 dockerauth]# openssl req -x509 -sha256 -batch -subj '/C=CN/ST=chongqing/L=Chongqing/O=qinghub/OU=Laboratory/CN=www.qinghub.net' -new -days 3650 -key ~/dockerauth/ca-key.pem -out ~/dockerauth/ca.pem
[root@web-dev01 dockerauth]# ll
总用量 8
-rw------- 1 root root 3243 3月 26 15:29 ca-key.pem
-rw-r--r-- 1 root root 2074 3月 26 15:32 ca.pem
[root@web-dev01 dockerauth]#
注意:
C表示国家,中国为CN。
ST表示省,比如Sichuan。
L表示城市,比如Chengdu。
O表示公司,比如Ghostcloud Co.,Ltd。
OU表示部门名字,比如Laboratory。
CN表示公司域名,比如www.ghostcloud.cn
3.生成服务器私钥server-key.pem和server-csr.pem。CN为DockerDaemon。
shell
[root@web-dev01 dockerauth]# openssl req -x509 -sha256 -batch -subj '/C=CN/ST=Chongqing/L=Chongqing/O=qinghub/OU=Laboratory/CN=www.qinghub.net' -new -days 3650 -key ~/dockerauth/ca-key.pem -out ~/dockerauth/ca.pem
[root@web-dev01 dockerauth]# openssl genrsa -out ~/dockerauth/server-key.pem 4096
Generating RSA private key, 4096 bit long modulus (2 primes)
..........................++++
............................................................................................++++
e is 65537 (0x010001)
[root@web-dev01 dockerauth]# openssl req -subj '/CN=DockerDaemon' -sha256 -new -key ~/dockerauth/server-key.pem -out ~/dockerauth/server-csr.pem
[root@web-dev01 dockerauth]# ll
总用量 20
-rw------- 1 root root 3243 3月 26 15:29 ca-key.pem
-rw-r--r-- 1 root root 2074 3月 26 15:38 ca.pem
-rw-r--r-- 1 root root 1590 3月 26 15:45 server-csr.pem
-rw------- 1 root root 3247 3月 26 15:38 server-key.pem
4.使用CA证书生成服务器证书server-cert.pem。TLS连接时,需要限制客户端的IP列表或者域名列表。只有在列表中的客户端才能通过客户端证书访问Docker Daemon。如果添加0.0.0.0,则所有客户端都可以通过证书访问Docker Daemon。
首先生成allow.list
shell
[root@web-dev01 dockerauth]# echo subjectAltName = IP:127.0.0.1,IP:10.0.0.21,IP:10.0.0.22,IP:10.0.0.54 > ~/dockerauth/allow.list
[root@web-dev01 dockerauth]# ll
总用量 16
-rw-r--r-- 1 root root 69 3月 26 15:41 allow.list
再通过allow.list生成server-cert.pem
shell
[root@web-dev01 dockerauth]# openssl x509 -req -days 365 -sha256 -in ~/dockerauth/server-csr.pem -CA ~/dockerauth/ca.pem -CAkey ~/dockerauth/ca-key.pem -CAcreateserial -out ~/dockerauth/server-cert.pem -extfile ~/dockerauth/allow.list
Signature ok
subject=CN = DockerDaemon
Getting CA Private Key
[root@web-dev01 dockerauth]# ll
5.生成客户端私钥client-key.pem和client-csr.pem。CN为DockerClient。
client-csr.pem是一个临时文件,生成client-cert.pem以后,可以删除。
shell
[root@web-dev01 dockerauth]# openssl genrsa -out ~/dockerauth/client-key.pem 4096
Generating RSA private key, 4096 bit long modulus (2 primes)
.........++++
...........................................++++
e is 65537 (0x010001)
[root@web-dev01 dockerauth]# openssl req -subj '/CN=DockerClient' -new -key ~/dockerauth/client-key.pem -out ~/dockerauth/client-csr.pem
[root@web-dev01 dockerauth]# ll
总用量 36
-rw-r--r-- 1 root root 69 3月 26 15:41 allow.list
-rw------- 1 root root 3243 3月 26 15:29 ca-key.pem
-rw-r--r-- 1 root root 2074 3月 26 15:38 ca.pem
-rw-r--r-- 1 root root 41 3月 26 15:45 ca.srl
-rw-r--r-- 1 root root 1590 3月 26 15:47 client-csr.pem
-rw------- 1 root root 3247 3月 26 15:47 client-key.pem
-rw-r--r-- 1 root root 1883 3月 26 15:45 server-cert.pem
-rw-r--r-- 1 root root 1590 3月 26 15:45 server-csr.pem
-rw------- 1 root root 3247 3月 26 15:38 server-key.pem
6.使用CA证书生成客户端证书client-cert.pem。需要加入extendedKeyUsage选项。
shell
[root@web-dev01 dockerauth]# echo extendedKeyUsage = clientAuth > ~/dockerauth/options.list
[root@web-dev01 dockerauth]# openssl x509 -req -days 3650 -sha256 -in ~/dockerauth/client-csr.pem -CA ~/dockerauth/ca.pem -CAkey ~/dockerauth/ca-key.pem -CAcreateserial -out ~/dockerauth/client-cert.pem -extfile ~/dockerauth/options.list
Signature ok
subject=CN = DockerClient
Getting CA Private Key
[root@web-dev01 dockerauth]#
7.成功生成了需要的证书和秘钥,可以删除临时文件。并修改密钥访问权限
所有生成得文件如下:
shell
[root@web-dev01 dockerauth]# ll
总用量 44
-rw-r--r-- 1 root root 69 3月 26 15:41 allow.list
-rw------- 1 root root 3243 3月 26 15:29 ca-key.pem
-rw-r--r-- 1 root root 2074 3月 26 15:38 ca.pem
-rw-r--r-- 1 root root 41 3月 26 16:01 ca.srl
-rw-r--r-- 1 root root 1862 3月 26 16:01 client-cert.pem
-rw-r--r-- 1 root root 1590 3月 26 15:47 client-csr.pem
-rw------- 1 root root 3247 3月 26 15:47 client-key.pem
-rw-r--r-- 1 root root 30 3月 26 16:01 options.list
-rw-r--r-- 1 root root 1883 3月 26 15:45 server-cert.pem
-rw-r--r-- 1 root root 1590 3月 26 15:45 server-csr.pem
-rw------- 1 root root 3247 3月 26 15:38 server-key.pem
[root@web-dev01 dockerauth]#
[root@web-dev01 dockerauth]#
删除并修改权限
shell
[root@web-dev01 dockerauth]# rm -f ~/dockerauth/server-csr.pem ~/dockerauth/client-csr.pem ~/dockerauth/allow.list ~/dockerauth/options.list
[root@web-dev01 dockerauth]#
[root@web-dev01 dockerauth]# chmod 0444 ~/dockerauth/ca.pem ~/dockerauth/server-cert.pem ~/dockerauth/client-cert.pem
[root@web-dev01 dockerauth]# chmod 0400 ~/dockerauth/ca-key.pem ~/dockerauth/server-key.pem ~/dockerauth/client-key.pem
[root@web-dev01 dockerauth]# ll
总用量 28
-r-------- 1 root root 3243 3月 26 15:29 ca-key.pem
-r--r--r-- 1 root root 2074 3月 26 15:38 ca.pem
-rw-r--r-- 1 root root 41 3月 26 16:01 ca.srl
-r--r--r-- 1 root root 1862 3月 26 16:01 client-cert.pem
-r-------- 1 root root 3247 3月 26 15:47 client-key.pem
-r--r--r-- 1 root root 1883 3月 26 15:45 server-cert.pem
-r-------- 1 root root 3247 3月 26 15:38 server-key.pem
[root@web-dev01 dockerauth]#
第二步,修改启动配置。
启动Docker Deamon时,需要设置-H、--tls、--tlscacert=ca.pem、--tlscert=server-cert.pem和--tlskey=server-key.pem。此时,只有客户端列表中的主机能够访问Docker主机。
1、重启Docker Daemon,加入ca.pem、server-cert.pem和server-key.pem。-H=0.0.0.0:2376表示Docker Daemon监听在2376端口。
修改docker 启动服务配置
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/root/dockerauth/ca.pem --tlscert=/root/dockerauth/server-cert.pem --tlskey=/root/dockerauth/server-key.pem -H=0.0.0.0:2376 -H fd:// --containerd=/run/containerd/containerd.sock
shell
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service containerd.service
Wants=network-online.target
Requires=docker.socket containerd.service
[Service]
Type=notify
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/root/dockerauth/ca.pem --tlscert=/root/dockerauth/server-cert.pem --tlskey=/root/dockerauth/server-key.pem -H=0.0.0.0:2376 -H fd:// --containerd=/run/containerd/containerd.sock
ExecReload=/bin/kill -s HUP
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
OOMScoreAdjust=-500
[Install]
WantedBy=multi-user.target
2.在客户端,运行docker命令时,加入ca.pem、client-cert.pem和client-key.pem。本例中,只有127.0.0.1和10.0.0.22,10.0.0.21的客户端可以访问Docker Daemon。
shell
[root@web-dev01 dockerauth]# docker --tlsverify --tlscacert=/root/dockerauth/ca.pem --tlscert=/root/dockerauth/client-cert.pem --tlskey=/root/dockerauth/client-key.pem -H=tcp://10.0.0.22:2376 info
Client:
Version: 24.0.5
Context: default
Debug Mode: false
Server:
Containers: 8
Running: 8
Paused: 0
看到如上示例中得信息,说明已经配置成功。