目录
更多精彩博文详见：
《CentOS7二进制安装包方式部署K8S集群之CA根证书生成》
《CentOS7二进制安装包方式部署K8S集群之ETCD集群部署》
本文主要介绍了在CentOS 7系统下，使用二进制安装包方式部署K8S集群中主机系统初始化的相关内容。K8S集群节点规划如下：
|----------------|-----------------|-------------------------------------------------------|
| 主机名称 | IP | 部署组件 |
| K8s-controller | 192.168.110.150 | kube-apiserver、kube-controller-manager、kube-scheduler |
| K8s-node01 | 192.168.110.151 | kubelet、kube-proxy、容器运行时 |
| K8s-node02 | 192.168.110.152 | kubelet、kube-proxy、容器运行时 |
一、服务器基础配置
1、修改集群节点主机名称
- 节点192.168.110.150：echo "K8s-controller" > /etc/hostname
- 节点192.168.110.151：echo "K8s-node01" > /etc/hostname
- 节点192.168.110.152：echo "K8s-node02" > /etc/hostname
2、修改集群节点主机/etc/hosts文件
- K8s-controller节点
root@K8s-controller \~# cat >> /etc/hosts << EOF
192.168.110.150 K8s-controller
192.168.110.151 K8s-node01
192.168.110.152 K8s-node02
EOF
- K8s-node01节点
root@K8s-node01 \~# cat >> /etc/hosts << EOF
192.168.110.150 K8s-controller
192.168.110.151 K8s-node01
192.168.110.152 K8s-node02
EOF
- K8s-node02节点
root@K8s-node02 \~# cat >> /etc/hosts << EOF
192.168.110.150 K8s-controller
192.168.110.151 K8s-node01
192.168.110.152 K8s-node02
EOF
3、集群节点创建基础目录
- K8s-controller节点
root@K8s-controller \~# mkdir /K8s
- K8s-node01节点
root@K8s-node01 \~# mkdir /K8s
- K8s-node02节点
root@K8s-node02 \~# mkdir /K8s
4、关闭防火墙
此处为方便演示关闭防火墙，生产环境可根据实际情况开通服务器防火墙策略。
- K8s-controller节点
root@K8s-controller \~# systemctl stop firewalld && systemctl disable firewalld
root@K8s-controller \~# systemctl stop iptables && systemctl disable iptables
- K8s-node01节点
root@K8s-node01 \~# systemctl stop firewalld && systemctl disable firewalld
root@K8s-node01 \~# systemctl stop iptables && systemctl disable iptables
- K8s-node02节点
root@K8s-node02 \~# systemctl stop firewalld && systemctl disable firewalld
root@K8s-node02 \~# systemctl stop iptables && systemctl disable iptables
5、关闭selinux
- K8s-controller节点
root@K8s-controller \~# cat /etc/selinux/config | grep "SELINUX=" --color
root@K8s-controller \~# sed -i 's/enforcing/disabled/' /etc/selinux/config
root@K8s-controller \~# getenforce
root@K8s-controller \~# setenforce 0
- K8s-node01节点
root@K8s-node01 \~# cat /etc/selinux/config | grep "SELINUX=" --color
root@K8s-node01 \~# sed -i 's/enforcing/disabled/' /etc/selinux/config
root@K8s-node01 \~# getenforce
root@K8s-node01 \~# setenforce 0
- K8s-node02节点
root@K8s-node02 \~# cat /etc/selinux/config | grep "SELINUX=" --color
root@K8s-node02 \~# sed -i 's/enforcing/disabled/' /etc/selinux/config
root@K8s-node02 \~# getenforce
root@K8s-node02 \~# setenforce 0
6、关闭swap分区
(1)、K8s-controller节点
- 使用命令关闭swap分区
root@K8s-controller \~# swapoff -a
- 注释/etc/fstab文件中的swap分区挂载配置
防止开机自动挂载swap分区
root@K8s-controller \~# vim /etc/fstab
(2)、K8s-node01节点
- 使用命令关闭swap分区
root@K8s-node01 \~# swapoff -a
- 注释/etc/fstab文件中的swap分区挂载配置
防止开机自动挂载swap分区
root@K8s-node01 \~# vim /etc/fstab
(3)、K8s-node02节点
- 使用命令关闭swap分区
root@K8s-node02 \~# swapoff -a
- 注释/etc/fstab文件中的swap分区挂载配置
防止开机自动挂载swap分区
root@K8s-node02 \~# vim /etc/fstab
7、安装时间同步服务
安装时间同步服务，确保各个集群节点时间同步一致。
(1)、K8s-controller节点
- 安装时间同步服务
root@K8s-controller \~# yum -y install chrony
- 开启时间同步服务
root@K8s-controller \~# systemctl start chronyd && systemctl enable chronyd
root@K8s-controller \~# systemctl status chronyd
(2)、K8s-node01节点
- 安装时间同步服务
root@K8s-node01 \~# yum -y install chrony
- 开启时间同步服务
root@K8s-node01 \~# systemctl start chronyd && systemctl enable chronyd
root@K8s-node01 \~# systemctl status chronyd
(3)、K8s-node02节点
- 安装时间同步服务
root@K8s-node02 \~# yum -y install chrony
- 开启时间同步服务
root@K8s-node02 \~# systemctl start chronyd && systemctl enable chronyd
root@K8s-node02 \~# systemctl status chronyd
8、加载br_netfilter模块
- K8s-controller节点
加载br_netfilter模块
root@K8s-controller \~# modprobe br_netfilter
查看br_netfilter模块加载情况
root@K8s-controller \~# lsmod | grep br_netfilter
- K8s-node01
加载br_netfilter模块
root@K8s-node01 \~# modprobe br_netfilter
查看br_netfilter模块加载情况
root@K8s-node01 \~# lsmod | grep br_netfilter
- K8s-node02
加载br_netfilter模块
root@K8s-node02 \~# modprobe br_netfilter
查看br_netfilter模块加载情况
root@K8s-node02 \~# lsmod | grep br_netfilter
9、优化内核参数
sysctl命令在Linux中用于系统运行时检查、修改内核参数，该命令允许用户读取和修改内核参数，以便优化系统性能。
(1)、K8s-controller节点
- 新增配置文件/etc/sysctl.d/kubernetes.conf
root@K8s-controller \~# cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
#tcp_tw_recycle与kubernetes的NAT会引起冲突导致服务不通，此处关闭。
net.ipv4.tcp_tw_recycle=0
#不检查物理内存是否够用
vm.overcommit_memory=1
#关闭不使用的ipv6协议栈，防止触发docker相关的BUG.
net.ipv6.conf.all.disable_ipv6=1
EOF
- 使配置文件/etc/sysctl.d/kubernetes.conf生效
root@K8s-controller \~# sysctl -p /etc/sysctl.d/kubernetes.conf
(2)、K8s-node01节点
- 新增配置文件/etc/sysctl.d/kubernetes.conf
root@K8s-node01 \~# cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
#tcp_tw_recycle与kubernetes的NAT会引起冲突导致服务不通，此处关闭。
net.ipv4.tcp_tw_recycle=0
#不检查物理内存是否够用
vm.overcommit_memory=1
#关闭不使用的ipv6协议栈，防止触发docker相关的BUG.
net.ipv6.conf.all.disable_ipv6=1
EOF
- 使配置文件/etc/sysctl.d/kubernetes.conf生效
root@K8s-node01 \~# sysctl -p /etc/sysctl.d/kubernetes.conf
(3)、K8s-node02节点
- 新增配置文件/etc/sysctl.d/kubernetes.conf
root@K8s-node02 \~# cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
#tcp_tw_recycle与kubernetes的NAT会引起冲突导致服务不通，此处关闭。
net.ipv4.tcp_tw_recycle=0
#不检查物理内存是否够用
vm.overcommit_memory=1
#关闭不使用的ipv6协议栈，防止触发docker相关的BUG.
net.ipv6.conf.all.disable_ipv6=1
EOF
- 使配置文件/etc/sysctl.d/kubernetes.conf生效
root@K8s-node02 \~# sysctl -p /etc/sysctl.d/kubernetes.conf
二、Docker组件部署
Docker组件需要部署在工作负载节点，故此处只在K8s-node01节点和K8s-node02节点上部署。
1、K8s-node01节点
(1)、下载Docker安装文件
此处部署的是19.03.15版本，可根据实际环境选择相应的版本。
- 创建docker基目录
root@K8s-node01 \~# mkdir -p /K8s/docker
- 下载docker安装文件
root@K8s-node01 \~# cd /K8s/docker
root@K8s-node01 docker# wget https://download.docker.com/linux/static/stable/x86_64/docker-19.03.15.tgz
(2)、解压Docker安装文件
- 解压安装文件
root@K8s-node01 docker# tar --no-same-owner -zxvf /K8s/docker/docker-19.03.15.tgz
- 创建docker相关可执行文件软链接
root@K8s-node01 docker# ln -s /K8s/docker/docker/* /usr/bin/
root@K8s-node01 docker# ll /usr/bin/docker*
(3)、创建docker.service文件
创建/usr/lib/systemd/system/docker.service文件，通过systemd来管理docker服务。
root@K8s-node01 \~# cat > /usr/lib/systemd/system/docker.service << EOF
Unit
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
Service
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP \$MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
Install
WantedBy=multi-user.target
EOF
(4)、创建docker配置文件
创建daemon.json配置文件，该文件只能放在/etc/docker/路径下。Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgoupfs。
root@K8s-node01 \~# cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": "https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://0kqamue3.mirror.aliyuncs.com","https://b2dw755a.mirror.aliyuncs.com",
"exec-opts": "native.cgroupdriver=systemd",
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "5"
}
}
EOF
(5)、启动docker服务
- 启动服务
root@K8s-node01 \~# systemctl daemon-reload && systemctl enable docker && systemctl start docker
- 查看docker服务状态
root@K8s-node01 \~# systemctl status docker.service
- 查看docker服务进程信息
root@K8s-node01 \~# ps -ef | grep -v "grep" | grep docker --color
- 查看docker0网桥
root@K8s-node01 \~# ip addr show docker0
- 查看docker信息
root@K8s-node01 \~# docker info
从上图可以看到，Registry Mirrors选项的值与/etc/docker/daemon.json中配置的一致。
2、K8s-node02节点
(1)、下载Docker安装文件
此处部署的是19.03.15版本，可根据实际环境选择相应的版本。
- 创建docker基目录
root@K8s-node02 \~# mkdir -p /K8s/docker
- 下载docker安装文件
root@K8s-node02 \~# cd /K8s/docker
root@K8s-node02 docker# wget https://download.docker.com/linux/static/stable/x86_64/docker-19.03.15.tgz
(2)、解压Docker安装文件
- 解压安装文件
root@K8s-node02 docker# tar --no-same-owner -zxvf /K8s/docker/docker-19.03.15.tgz
- 创建docker相关可执行文件软链接
root@K8s-node02 docker# ln -s /K8s/docker/docker/* /usr/bin/
root@K8s-node02 docker# ll /usr/bin/docker*
(3)、创建docker.service文件
创建/usr/lib/systemd/system/docker.service文件，通过systemd来管理docker服务。
root@K8s-node02 \~#
cat > /usr/lib/systemd/system/docker.service << EOF
Unit
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
Service
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP \$MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
Install
WantedBy=multi-user.target
EOF
(4)、创建docker配置文件
创建daemon.json配置文件，该文件只能放在/etc/docker/路径下。Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgoupfs。
root@K8s-node02 \~# cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": "https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://0kqamue3.mirror.aliyuncs.com","https://b2dw755a.mirror.aliyuncs.com",
"exec-opts": "native.cgroupdriver=systemd",
"log-driver": "json-file",
"log-opts": {
"max-size": "100m",
"max-file": "5"
}
}
EOF
(5)、启动docker服务
- 启动服务
root@K8s-node02 \~# systemctl daemon-reload && systemctl enable docker && systemctl start docker
- 查看docker服务状态
root@K8s-node02 \~# systemctl status docker.service
- 查看docker服务进程信息
root@K8s-node02 \~# ps -ef | grep -v "grep" | grep docker --color
- 查看docker0网桥
root@K8s-node02 \~# ip addr show docker0
- 查看docker信息
root@K8s-node02 \~# docker info
从上图可以看到，Registry Mirrors选项的值与/etc/docker/daemon.json中配置的一致。
