Kubeadm搭建k8s

YCyjs2024-10-30 17:44

一、架构

节点名称 规格 IP地址 安装组件
master01 2C/4G，cpu核心数要求大于2 192.168.88.76 docker、kubeadm、kubelet、kubectl、flannel
node01 2C/2G 192.168.88.20 docker、kubeadm、kubelet、kubectl、flannel
node02 2C/2G 192.168.88.21 docker、kubeadm、kubelet、kubectl、flannel
Harbor节点 2C/2G 192.168.88.77 docker、docker-compose、harbor-offline-v1.2.2

二、梳理步骤

1、在所有节点上安装Docker和kubeadm

2、部署Kubernetes Master

3、部署容器网络插件

4、部署 Kubernetes Node，将节点加入Kubernetes集群中

5、部署 Dashboard Web 页面，可视化查看Kubernetes资源

6、部署 Harbor 私有仓库，存放镜像资源

三、搭建过程

3.1、环境准备

所有环境

cd /opt

vim zb_k8s.sh

bash 复制代码 
#!/bin/bash
#k8s前置准备
 
 
#关闭防火墙
function firewalld_stop() {
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
}
 
#永久关闭selinux
function selinux_stop() {
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
}
 
 
#关闭swap
function swapp_stop() {
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
}
 
 
#调整内核参数
function sysctl_adjust() {
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
#加载内核使得配置内核参数生效
sysctl --system
}
 
 
#时间同步
function time_adjust() {
yum install ntpdate -y
ntpdate time.windows.com
}
 
#根据规划设置主机名
function hostname_adjust() {
read -p "请输入改成的主机名称" yc_hostname
hostnamectl  set-hostname $yc_hostname
bash
}
 
 
 
#主逻辑
firewalld_stop
selinux_stop
swapp_stop
sysctl_adjust
time_adjust
hostname_adjust
echo "已完成操作"

根据配置

在master添加hosts

cat >> /etc/hosts << EOF

192.168.88.76 master01

192.168.88.20 node01

192.168.88.21 node02

192.168.88.77 harbor

192.168.88.77 hub.yc.com

EOF

3.2、所有节点安装docker

vim az_docker.sh

bash 复制代码 
#!/bin/bash
#docker 部署
#这里写华为的加速地址
dz=https://xxxxxxxxxx
 
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install -y docker-ce-20.10.18 docker-ce-cli-20.10.18 containerd.io
systemctl start docker.service
systemctl enable docker.service 
 
cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": [ "${dz}" ],
    "exec-opts": ["native.cgroupdriver=systemd"],
    "log-driver": "json-file",
    "log-opts": {
    "max-size": "100m"
  }

}
EOF
 
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service

docker info | grep "Cgroup Driver"

  • 使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
  • 日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

33、所有节点安装kubeadm，kubelet和kubectl

定义kubernetes源

cat > /etc/yum.repos.d/kubernetes.repo << EOF

kubernetes

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11

开机自启kubelet

systemctl enable kubelet.service

  • K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

四、部署K8S集群

查看初始化需要的镜像

kubeadm config images list

在 master 节点上传 v1.20.11.zip 压缩包至 /opt 目录

unzip v1.20.11.zip -d /opt/k8s

cd /opt/k8s/v1.20.11

for i in (ls \*.tar); do docker load -i i; done

复制镜像和脚本到 node 节点，

scp -r /opt/k8s root@node01:/opt

scp -r /opt/k8s root@node02:/opt

并在 node 01、02节点上也执行脚本加载镜像文件

cd /opt/k8s/v1.20.11

for i in (ls \*.tar); do docker load -i i; done

41、初始化kubeadm

①、方法一

注意master01 node01 node02都需要操作

kubeadm config print init-defaults > /opt/kubeadm-config.yaml

cd /opt/

vim kubeadm-config.yaml

37行 podSubnet: "10.244.0.0/16"

末尾再添加以下内容

apiVersion: kubeproxy.config.k8s.io/v1alpha1

kind: KubeProxyConfiguration

mode: ipvs

在master01上 开启集群，等待node节点加入

kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log

  • --experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件，K8S V1.16版本开始替换为 --upload-certs
  • tee kubeadm-init.log 用以输出日志

查看 kubeadm-init 日志

less kubeadm-init.log

kubernetes配置文件目录

ls /etc/kubernetes/

存放ca等证书和密码的目录

ls /etc/kubernetes/pki

②、方法二

kubeadm init \

--apiserver-advertise-address=192.168.88.76 \

--image-repository registry.aliyuncs.com/google_containers \

--kubernetes-version=v1.20.11 \

--service-cidr=10.96.0.0/16 \

--pod-network-cidr=10.244.0.0/16 \

--token-ttl=0

方法二初始化后需要修改 kube-proxy 的 configmap，开启 ipvs

kubectl edit cm kube-proxy -n=kube-system

修改mode: ipvs

bash 复制代码 
初始化集群需使用kubeadm init命令，可以指定具体参数初始化，也可以指定配置文件初始化。
可选参数：
--apiserver-advertise-address：apiserver通告给其他组件的IP地址，一般应该为Master节点的用于集群内部通信的IP地址，0.0.0.0表示节点上所有可用地址
--apiserver-bind-port：apiserver的监听端口，默认是6443
--cert-dir：通讯的ssl证书文件，默认/etc/kubernetes/pki
--control-plane-endpoint：控制台平面的共享终端，可以是负载均衡的ip地址或者dns域名，高可用集群时需要添加
--image-repository：拉取镜像的镜像仓库，默认是k8s.gcr.io
--kubernetes-version：指定kubernetes版本
--pod-network-cidr：pod资源的网段，需与pod网络插件的值设置一致。Flannel网络插件的默认为10.244.0.0/16，Calico插件的默认值为192.168.0.0/16；
--service-cidr：service资源的网段
--service-dns-domain：service全域名的后缀，默认是cluster.local
--token-ttl：默认token的有效期为24小时，如果不想过期，可以加上 --token-ttl=0 这个参数

42、设定kubectl

在master01上

kubectl需经由API server认证及授权后方能执行相应的管理操作，kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，它可由 kubectl 通过默认的 "$HOME/.kube/config" 的路径进行加载。

mkdir -p $HOME/.kube

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

chown (id -u):(id -g) $HOME/.kube/config

加入在 node01和node02 节点上执行 kubeadm join 命令加入群集

  • 和Kubernetes相关配置文件已存在并被占用
  • 可以用kubeadm reset重新加入

kubectl get nodes

如果 kubectl get cs 发现集群不健康，在master01上更改以下两个文件

vim /etc/kubernetes/manifests/kube-scheduler.yaml

vim /etc/kubernetes/manifests/kube-controller-manager.yaml

修改如下内容（以kube-scheduler为例子）

systemctl restart kubelet

43、所有节点部署网络插件flannel

所有节点部署网络插件flannel（在master和两个node节点部署网络插件flannel）

方法一：

所有节点上传flannel镜像 flannel.tar 到 /opt 目录，

在master节点上传 kube-flannel.yml 文件

cd /opt

docker load < flannel.tar

在 master 节点创建 flannel 资源

kubectl apply -f kube-flannel.yml

方法二（可能会卡推荐一）

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

在master节点查看节点状态

kubectl get nodes

kubectl get pods -n kube-system

测试 pod 资源创建

kubectl create deployment nginx --image=nginx

kubectl get pods -o wide暴露端口提供服务

kubectl expose deployment nginx --port=80 --type=NodePort

kubectl get svc

测试访问

curl http://node01:32209

扩展3个副本

kubectl scale deployment nginx --replicas=3

kubectl get pods -o wide

需要等待一会

五、部署 Dashboard

在 master01 节点上操作

上传 recommended.yaml 文件到 /opt/k8s 目录中

cd /opt/k8s

vim recommended.yaml

  • 默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
bash 复制代码 
文件要提前修改不用变动   以下内容作为参考
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001     #添加
  type: NodePort          #添加
  selector:
    k8s-app: kubernetes-dashboard

kubectl apply -f recommended.yaml

创建service account并绑定默认cluster-admin管理员集群角色

kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

kubectl describe secrets -n kube-system (kubectl -n kube-system get secret \| awk '/dashboard-admin/{print 1}')

使用输出的token登录Dashboard

https://NodeIP:30001

六、扩展 安装Harbor私有仓库

①、修改主机名

hostnamectl set-hostname hub.yc.com

所有节点加上主机名映射

echo '192.168.88.77 hub.yc.com' >> /etc/hosts

②、安装 docker

在环境准备已经安装

vim /etc/docker/daemon.json

{

"registry-mirrors": ["https://6xxxxxxxxxxxom"],

"exec-opts": ["native.cgroupdriver=systemd"],

"log-driver": "json-file",

"log-opts": {

"max-size": "100m"

},

"insecure-registries": ["https://hub.yc.com"]

}

EOF

systemctl daemon-reload

systemctl restart docker

③、安装 Harbor

上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录

cd /opt

cp docker-compose /usr/local/bin/

chmod +x /usr/local/bin/docker-compose

tar zxvf harbor-offline-installer-v1.2.2.tgz

cd harbor/

vim harbor.cfg

bash 复制代码 
5  hostname = hub.yc.com
9  ui_url_protocol = https
24 ssl_cert = /data/cert/server.crt
25 ssl_cert_key = /data/cert/server.key
59 harbor_admin_password = Harbor12345

④、生成证书

mkdir -p /data/cert

cd /data/cert

生成私钥

openssl genrsa -des3 -out server.key 2048

输入两遍密码：123456

生成证书签名请求文件

openssl req -new -key server.key -out server.csr

输入私钥密码：123456

输入国家名：CN

输入省名：BJ

输入市名：BJ

输入组织名：YC

输入机构名：YC

输入域名：hub.yc.com

输入管理员邮箱：[email protected]

其它全部直接回车

备份私钥

cp server.key server.key.org

清除私钥密码

openssl rsa -in server.key.org -out server.key

输入私钥密码：123456

签名证书

openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt

chmod +x /data/cert/*

cd /opt/harbor/

./install.sh

在本地使用火狐浏览器访问：https://hub.yc.com

添加例外 -> 确认安全例外

用户名：admin

密码：Harbor12345

⑤、测试

在一个node节点上登录harbor

docker login -u admin -p Harbor12345 https://hub.yc.com

报错

需要vim /etc/docker/daemon.json修改添加一行

上传镜像

docker tag nginx:latest hub.yc.com/library/nginx:v1

docker push hub.yc.com/library/nginx:v1

在master节点上删除之前创建的nginx资源

kubectl delete deployment nginx

kubectl create deployment nginx-deployment --image=hub.yc.com/library/nginx:v1 --port=80 --replicas=3

kubectl expose deployment nginx-deployment --port=30000 --target-port=80

kubectl get svc,pods

yum install ipvsadm -y

ipvsadm -Ln

curl 10.96.45.7:30000

kubectl edit svc nginx-deployment

25 type: NodePort #把调度策略改成NodePort

kubectl get svc

浏览器访问：

192.168.88.76:31199

192.168.88.20:31199

192.168.88.21:31199

权限问题：将cluster-admin角色权限授予用户system:anonymous

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

七、内核参数优化方案

cat > /etc/sysctl.d/kubernetes.conf <<EOF

net.bridge.bridge-nf-call-iptables=1

net.bridge.bridge-nf-call-ip6tables=1

net.ipv4.ip_forward=1

net.ipv4.tcp_tw_recycle=0

vm.swappiness=0 #禁止使用 swap 空间，只有当系统内存不足（OOM）时才允许使用它

vm.overcommit_memory=1 #不检查物理内存是否够用

vm.panic_on_oom=0 #开启 OOM

fs.inotify.max_user_instances=8192

fs.inotify.max_user_watches=1048576

fs.file-max=52706963 #指定最大文件句柄数

fs.nr_open=52706963 #仅4.4以上版本支持

net.ipv6.conf.all.disable_ipv6=1

net.netfilter.nf_conntrack_max=2310720

EOF

参数 描述 Kubernetes 相关性
net.bridge.bridge-nf-call-iptables=1 启用桥接网络上的IPv4流量通过iptables进行过滤和路由 重要，用于实施网络策略
net.bridge.bridge-nf-call-ip6tables=1 启用桥接网络上的IPv6流量通过ip6tables进行过滤和路由 重要，用于实施网络策略
net.ipv4.ip_forward=1 启用IPv4转发 必需，用于转发容器网络流量
net.ipv4.tcp_tw_recycle=0 禁用TCP快速回收 避免与NAT和负载均衡相关的连接问题
vm.swappiness=0 将交换空间的使用率设置为最低 避免使用交换空间，提高Pod性能
vm.overcommit_memory=1 允许内存过度提交 提高在动态内存需求环境中的性能
vm.panic_on_oom=0 当系统遇到内存不足时，不触发内核panic 允许系统通过OOM killer终止进程，避免崩溃
fs.inotify.max_user_instances=8192 增加inotify实例的数量限制 必需，用于监控大量文件系统事件
fs.inotify.max_user_watches=1048576 增加inotify观察者的数量限制 必需，用于监控大量文件系统事件
fs.file-max=52706963 设置系统可以打开的最大文件句柄数 必需，用于处理大量容器和进程
fs.nr_open=52706963 设置进程可以打开的最大文件句柄数 同上
net.ipv6.conf.all.disable_ipv6=1 禁用IPv6 根据环境或应用需求选择是否禁用
net.netfilter.nf_conntrack_max=2310720 设置netfilter连接跟踪表的最大条目数 根据网络流量调整，避免连接跟踪表溢出
相关推荐
MickeyCV4 小时前
使用Docker部署MySQL&Redis容器与常见命令
redis·mysql·docker·容器·wsl·镜像
藥瓿亭6 小时前
K8S认证|CKS题库+答案| 6. 创建 Secret
运维·ubuntu·docker·云原生·容器·kubernetes·cks
2302_809798326 小时前
【JavaWeb】Docker项目部署
java·运维·后端·青少年编程·docker·容器
嵌入式大圣6 小时前
Neko虚拟浏览器远程协作方案：Docker+内网穿透技术部署实践
运维·docker·容器
孔令飞6 小时前
Kubernetes 节点自动伸缩（Cluster Autoscaler）原理与实践
ai·云原生·容器·golang·kubernetes
极简网络科技8 小时前
Docker、Wsl 打包迁移环境
运维·docker·容器
江湖有缘8 小时前
【Docker管理工具】部署Docker可视化管理面板Dpanel
运维·docker·容器
猫咪老师199510 小时前
多系统一键打包docker compose下所有镜像并且使用
java·docker·容器
Nazi610 小时前
docker数据管理
运维·docker·容器
孔令飞13 小时前
Go 为何天生适合云原生？
ai·云原生·容器·golang·kubernetes
热门推荐
01【图像处理与机器视觉】XJTU期末考点02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04海康Visionmaster-常见问题排查方法-启动阶段05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！07Coze扣子平台完整体验和实践（附国内和国际版对比）08DeepSeek各版本说明与优缺点分析09VMware虚拟机安装Win7专业版保姆级教程（附镜像包）10坚果投影仪J10如何用苹果Siri开关机并和米家联动