k8s基础与安装部署

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

在云原生技术飞速发展的今天,Kubernetes(简称K8S)已成为容器编排的事实标准,更是企业实现应用弹性伸缩、高可用部署的核心支撑。本文将从云原生基础概念出发,带你全面理解K8S的核心架构、关键特性,并详细拆解K8S 1.28版本的部署流程与实操技巧,助力你快速上手云原生应用管理。

一、云原生与K8S基础认知

1. 云原生是什么?

云原生技术旨在帮助企业在公有云、私有云或混合云等动态环境中,构建和运行可弹性扩展的应用。其核心技术栈涵盖容器化(Docker/containerd)、微服务架构、服务网格(Istio)、DevOps、无服务(Serverless)等,核心特征包括:

  • 遵循12因素应用原则(如无状态进程、环境一致性、配置与代码分离等)

  • 基于微服务架构,实现服务独立部署与扩展

  • 自服务敏捷架构,降低开发对运维的依赖

  • 具备抗脆弱性,系统可自愈、自适应不稳定环境

简单来说,云原生 = 容器化(Docker+K8S)+ 微服务 + DevOps + 服务网格 + 云基础设施,其核心目标是让应用部署更高效、扩展更灵活、运维更自动化。

  1. 为什么选择K8S?

K8S源于Google的Borg系统,2014年开源后迅速成为容器编排领域的行业标准。它主要解决了传统部署方式的三大痛点:

  • 运维自动化:一条命令即可完成应用部署、更新、扩容、缩容等操作,无需人工干预

  • 高可用与容灾:节点或容器故障时,自动重建或迁移Pod,保障应用持续运行

  • 资源高效利用:支持基于CPU、内存等指标的弹性伸缩,按需分配资源,避免浪费

此外,K8S还提供服务发现、负载均衡、滚动更新、密钥管理、存储编排等核心能力,完美适配微服务架构的部署与管理需求。

3. K8S核心架构与组件

K8S采用"控制平面+工作节点"的主从架构,各组件分工明确:

(1)控制平面(Master)组件
(2)工作节点(Node)组件

注意:K8S 1.24版本后已移除对Docker的内建支持,需使用符合CRI(容器运行时接口)的runtime(如containerd、CRI-O),本文部署将采用containerd。

4. K8S核心概念速览

  • Pod:最小可调度单位,包含一个或多个共享网络/存储的容器

  • Deployment:管理无状态应用,支持滚动更新、扩缩容

  • Service:为Pod提供稳定访问入口,实现负载均衡

  • Namespace:逻辑隔离集群资源,实现多环境隔离(如开发、测试、生产)

  • ConfigMap/Secret:集中管理配置信息与敏感数据(如密码、密钥)

二、Kubernetes 1.20 集群部署全攻略(含Docker、Flannel、Dashboard、Harbor)

1、集群环境规划

1.1 服务器配置

本次部署采用1主2从的架构,同时单独部署Harbor私有仓库节点,具体配置如下:

节点角色 服务器配置 IP地址 所需软件
Master 2C/4G(CPU核心数≥2) 192.168.10.19 Docker、kubeadm、kubelet、kubectl、flannel
Node01 2C/2G 192.168.10.20 Docker、kubeadm、kubelet、kubectl、flannel
Node02 2C/2G 192.168.10.21 Docker、kubeadm、kubelet、kubectl、flannel
Harbor 2C/2G 192.168.10.13 Docker、docker-compose、harbor-offline-v1.2.2

1.2 部署流程概览

  1. 所有节点环境准备(关闭防火墙、SELinux、Swap等)
  2. 所有节点安装Docker
  3. 所有节点安装kubeadm、kubelet、kubectl
  4. 部署Kubernetes Master节点
  5. 部署Flannel容器网络插件
  6. Node节点加入集群
  7. 部署Dashboard可视化界面
  8. 部署Harbor私有仓库
  9. 集群功能测试

2、环境准备(所有节点执行)

2.1 关闭防火墙与SELinux

K8s集群内部组件需要通过特定端口通信,需关闭防火墙和SELinux避免拦截:

bash 复制代码
# 关闭防火墙并设置开机不自启
systemctl stop firewalld
systemctl disable firewalld

# 临时关闭SELinux(立即生效)
setenforce 0
# 永久关闭SELinux(重启生效)
sed -i 's/enforcing/disabled/' /etc/selinux/config

# 清空iptables规则
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

2.2 关闭Swap交换分区

Swap分区会影响K8s的性能和稳定性,必须禁用:

bash 复制代码
# 临时关闭Swap
swapoff -a
# 永久关闭Swap(注释/etc/fstab中的Swap配置)
sed -ri 's/.*swap.*/#&/' /etc/fstab

2.3 加载ip_vs模块

K8s的kube-proxy支持iptables和ip_vs两种模式,ip_vs性能更优,提前加载相关模块:

bash 复制代码
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do 
  echo $i; 
  /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;
done

2.4 修改主机名与hosts映射

2.4.1 修改主机名
bash 复制代码
# Master节点
hostnamectl set-hostname master01
# Node01节点
hostnamectl set-hostname node01
# Node02节点
hostnamectl set-hostname node02
# Harbor节点
hostnamectl set-hostname hub.benet.com
2.4.2 配置hosts文件

所有节点都需添加主机名与IP的映射关系:

bash 复制代码
vim /etc/hosts
# 添加以下内容
192.168.10.19 master01
192.168.10.20 node01
192.168.10.21 node02
192.168.10.13 hub.benet.com

2.5 调整内核参数

配置K8s所需的内核参数,开启网桥模式、IP转发等功能:

bash 复制代码
# 创建内核参数配置文件
cat > /etc/sysctl.d/kubernetes.conf << EOF
# 开启网桥模式,将网桥流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
# 关闭IPv6协议
net.ipv6.conf.all.disable_ipv6=1
# 开启IP转发
net.ipv4.ip_forward=1
# 禁止使用Swap空间,仅OOM时允许
vm.swappiness=0
# 不检查物理内存是否够用
vm.overcommit_memory=1
# 开启OOM
vm.panic_on_oom=0
# 调整文件句柄数限制
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
# 调整连接跟踪数
net.netfilter.nf_conntrack_max=2310720
EOF

# 生效内核参数
sysctl --system

3、所有节点安装Docker

K8s默认使用Docker作为容器运行时,需统一安装并配置Docker环境。

3.1 安装Docker依赖

bash 复制代码
yum install -y yum-utils device-mapper-persistent-data lvm2

3.2 配置Docker镜像源(阿里云/华为云)

使用国内镜像源加速Docker镜像拉取:

bash 复制代码
# 配置阿里云Docker源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

若阿里云镜像源访问不畅,可切换为华为云:

bash 复制代码
yum-config-manager --add-repo https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo

3.3 安装Docker并配置

bash 复制代码
# 安装Docker(默认安装最新稳定版)
yum install -y docker-ce docker-ce-cli containerd.io

# 创建Docker配置目录
mkdir /etc/docker

# 配置Docker daemon.json(含镜像加速、Cgroup驱动、日志配置)
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF

说明

  • native.cgroupdriver=systemd:K8s推荐使用systemd作为Cgroup驱动,稳定性更强
  • log-driver:日志存储格式为json-file,单日志文件最大100M,便于日志收集
  • 若阿里云镜像加速不可用,可替换为华为云地址:https://0a40cefd360026b40f39c00627fa6f20.mirror.swr.myhuaweicloud.com

3.4 启动Docker并设置开机自启

bash 复制代码
# 重新加载系统配置
systemctl daemon-reload
# 启动Docker
systemctl restart docker.service
# 设置开机自启
systemctl enable docker.service

# 验证Docker安装成功(查看Cgroup Driver)
docker info | grep "Cgroup Driver"
# 预期输出:Cgroup Driver: systemd

4、所有节点安装kubeadm、kubelet、kubectl

4.1 配置K8s镜像源(阿里云)

K8s默认镜像源在国外,需配置国内阿里云镜像源:

bash 复制代码
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

4.2 安装指定版本(1.20.11)

bash 复制代码
yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11


4.3 设置kubelet开机自启

bash 复制代码
systemctl enable kubelet.service

说明:K8s通过kubeadm安装后,所有组件均以Pod形式运行(底层为容器),因此kubelet必须设置开机自启,确保集群组件正常启动。

5、部署Kubernetes Master节点(仅Master执行)

5.1 准备K8s镜像

K8s初始化需要拉取多个核心镜像,可提前加载本地镜像(推荐)或通过镜像源拉取:

方式1:本地加载镜像(推荐,避免网络问题)
  1. v1.20.11.zip压缩包上传至Master节点/opt目录
  2. 解压并加载镜像:
bash 复制代码
unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done
  1. 将镜像复制到所有Node节点并加载:
bash 复制代码
scp -r /opt/k8s root@node01:/opt
scp -r /opt/k8s root@node02:/opt

在Node节点执行加载命令:

bash 复制代码
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done
方式2:在线拉取镜像

若网络条件良好,可通过以下命令查看所需镜像并拉取:

bash 复制代码
# 查看初始化所需镜像
kubeadm config images list
# 拉取镜像(使用阿里云镜像源)
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.20.11

5.2 初始化Master节点(两种方式任选)

方式1:通过配置文件初始化(推荐,便于维护)
  1. 生成默认配置文件:
bash 复制代码
kubeadm config print init-defaults > /opt/kubeadm-config.yaml
  1. 编辑配置文件:
bash 复制代码
vim /opt/kubeadm-config.yaml

关键配置修改如下:

yaml 复制代码
11 localAPIEndpoint:
12   advertiseAddress: 192.168.10.19  # Master节点IP
13   bindPort: 6443
...
34 kubernetesVersion: v1.20.11        # K8s版本
35 networking:
36   dnsDomain: cluster.local
37   podSubnet: "10.244.0.0/16"       # Pod网段(需与Flannel默认网段一致)
38   serviceSubnet: 10.96.0.0/16      # Service网段
39 scheduler: {}
# 末尾添加kube-proxy配置,启用ipvs模式
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs


  1. 执行初始化:
bash 复制代码
kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
  • --upload-certs:自动分发证书文件(K8s 1.16+版本支持)
  • tee kubeadm-init.log:保存初始化日志,便于后续查看
方式2:通过命令行参数初始化
bash 复制代码
kubeadm init \
--apiserver-advertise-address=192.168.10.19 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.20.11 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--token-ttl=0
  • --token-ttl=0:Token永久有效(默认24小时过期)

初始化成功后,会输出Node节点加入集群的命令,需保存备用!

5.3 配置kubectl命令行工具

kubectl需要通过配置文件连接API Server,执行以下命令配置:

bash 复制代码
# 创建.kube目录
mkdir -p $HOME/.kube
# 复制管理员配置文件
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# 授权(非root用户需执行)
chown $(id -u):$(id -g) $HOME/.kube/config

# 若为root用户,可直接设置环境变量
export KUBECONFIG=/etc/kubernetes/admin.conf

5.4 修复集群健康状态(可选)

若执行kubectl get cs发现集群不健康,需修改以下两个文件:

bash 复制代码
# 编辑kube-scheduler配置
vim /etc/kubernetes/manifests/kube-scheduler.yaml
# 编辑kube-controller-manager配置
vim /etc/kubernetes/manifests/kube-controller-manager.yaml

修改内容:

  1. --bind-address=127.0.0.1改为--bind-address=192.168.10.19(Master节点IP)
  2. httpGet字段下的host127.0.0.1改为192.168.10.19(共两处)
  3. 注释- --port=0这一行

重启kubelet生效:

bash 复制代码
systemctl restart kubelet

6、部署Flannel网络插件(所有节点执行)

K8s集群必须部署网络插件才能实现Pod之间的通信,本文选择Flannel(轻量、易用)。

6.1 安装Flannel(两种方式任选)

方式1:本地加载镜像(推荐)
  1. 所有节点上传flannel.tar镜像至/opt目录,Master节点上传kube-flannel.yml文件
  2. 加载镜像:
bash 复制代码
cd /opt
docker load < flannel.tar
  1. Master节点创建Flannel资源:
bash 复制代码
kubectl apply -f kube-flannel.yml
方式2:在线部署
bash 复制代码
# 方式2.1:通过coreos官方源
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 方式2.2:通过flannel-io官方源(推荐)
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

6.2 验证Flannel部署

bash 复制代码
# 查看kube-system命名空间下的Pod
kubectl get pods -n kube-system

若所有kube-flannel-ds-xxx开头的Pod状态为Running,则Flannel部署成功。

7、Node节点加入集群(仅Node执行)

在每个Node节点执行Master初始化成功后输出的kubeadm join命令(示例,需替换为实际日志中的命令):

bash 复制代码
kubeadm join 192.168.10.19:6443 --token rc0kfs.a1sfe3gl4dvopck5 \
    --discovery-token-ca-cert-hash sha256:864fe553c812df2af262b406b707db68b0fd450dc08b34efb73dd5a4771d37a2

验证节点加入状态(Master执行)

bash 复制代码
# 查看节点状态
kubectl get nodes

若所有节点状态为Ready,则集群部署成功!

8、部署Dashboard可视化界面(Master执行)

Dashboard是K8s的Web可视化管理工具,可方便地查看集群资源、部署应用等。

8.1 部署Dashboard

  1. 上传recommended.yaml文件至Master节点/opt/k8s目录
  2. 编辑文件,修改Service为NodePort类型(便于外部访问):
bash 复制代码
vim /opt/k8s/recommended.yaml

找到Service配置部分,修改如下:

yaml 复制代码
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001  # 添加NodePort端口
  type: NodePort       # 改为NodePort类型
  selector:
    k8s-app: kubernetes-dashboard
  1. 部署Dashboard:
bash 复制代码
kubectl apply -f recommended.yaml

8.2 创建管理员账号并授权

bash 复制代码
# 创建serviceaccount
kubectl create serviceaccount dashboard-admin -n kube-system
# 绑定cluster-admin管理员角色
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取登录Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

8.3 访问Dashboard

  1. 浏览器访问:https://NodeIP:30001(NodeIP为任意Node节点或Master节点IP)
  2. 选择"令牌"登录,粘贴上一步获取的Token
  3. 若浏览器提示证书不安全,添加安全例外即可

9、部署Harbor私有仓库(Harbor节点执行)

Harbor是企业级Docker私有仓库,用于存储集群所需的镜像资源。

9.1 安装Docker和docker-compose

Harbor依赖Docker和docker-compose,已安装Docker的节点直接安装docker-compose:

bash 复制代码
# 上传docker-compose文件至/opt目录
cd /opt
cp docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose

9.2 配置Docker支持私有仓库

所有节点(Master、Node、Harbor)都需配置Docker信任私有仓库:

bash 复制代码
vim /etc/docker/daemon.json

添加insecure-registries字段:

json 复制代码
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries": ["https://hub.benet.com"]
}

重启Docker生效:

bash 复制代码
systemctl daemon-reload
systemctl restart docker

9.3 安装Harbor

  1. 上传harbor-offline-installer-v1.2.2.tgz/opt目录
  2. 解压并配置:
bash 复制代码
cd /opt
tar zxvf harbor-offline-installer-v1.2.2.tgz
cd harbor/
vim harbor.cfg

关键配置修改:

ini 复制代码
5  hostname = hub.benet.com  # Harbor节点主机名
9  ui_url_protocol = https   # 启用HTTPS
24 ssl_cert = /data/cert/server.crt  # 证书路径
25 ssl_cert_key = /data/cert/server.key  # 私钥路径
59 harbor_admin_password = Harbor12345  # 管理员密码

9.4 生成HTTPS证书

bash 复制代码
# 创建证书目录
mkdir -p /data/cert
cd /data/cert

# 生成私钥(输入密码123456)
openssl genrsa -des3 -out server.key 2048

# 生成证书签名请求(CSR)
openssl req -new -key server.key -out server.csr
# 输入以下信息(按提示填写)
# 私钥密码:123456
# 国家:CN
# 省:BJ
# 市:BJ
# 组织:BENET
# 机构:BENET
# 域名:hub.benet.com
# 邮箱:admin@benet.com
# 其余默认回车

# 备份私钥
cp server.key server.key.org
# 清除私钥密码(避免启动Harbor时输入密码)
openssl rsa -in server.key.org -out server.key
# 输入私钥密码:123456

# 生成自签名证书(有效期1000天)
openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt

# 授权证书文件
chmod +x /data/cert/*

9.5 启动Harbor

bash 复制代码
cd /opt/harbor/
./install.sh

9.6 验证Harbor部署

  1. 浏览器访问:https://hub.benet.com
  2. 输入用户名admin,密码Harbor12345登录
  3. 创建library项目(默认已存在),用于存储镜像

9.7 上传镜像至Harbor并在K8s中使用

9.7.1 上传镜像(Node节点执行)
bash 复制代码
# 登录Harbor
docker login -u admin -p Harbor12345 https://hub.benet.com

# 给本地镜像打标签
docker tag nginx:latest hub.benet.com/library/nginx:v1

# 上传镜像
docker push hub.benet.com/library/nginx:v1
9.7.2 K8s使用Harbor镜像(Master执行)
bash 复制代码
# 删除之前的nginx部署(若存在)
kubectl delete deployment nginx

# 使用Harbor镜像创建部署(3个副本)
kubectl create deployment nginx-deployment --image=hub.benet.com/library/nginx:v1 --port=80 --replicas=3

# 暴露服务(NodePort类型)
kubectl expose deployment nginx-deployment --port=30000 --target-port=80 --type=NodePort

# 查看服务和Pod状态
kubectl get svc,pods
9.7.3 访问测试

浏览器访问:http://NodeIP:32340(32340为实际NodePort端口,通过kubectl get svc查看),可看到Nginx默认页面。

10、集群功能测试

10.1 验证Pod创建与调度

bash 复制代码
# 创建Nginx Deployment
kubectl create deployment nginx --image=nginx
# 查看Pod状态
kubectl get pods -o wide
# 预期输出:Pod运行在Node01或Node02节点

10.2 验证服务暴露

bash 复制代码
# 暴露NodePort服务
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看服务
kubectl get svc
# 访问服务
curl http://node01:32404(32404为实际NodePort端口)

10.3 验证副本扩展

bash 复制代码
# 扩展为3个副本
kubectl scale deployment nginx --replicas=3
# 查看Pod状态
kubectl get pods -o wide
# 预期输出:3个Pod分布在不同Node节点

十一、常见问题排查

  1. Node节点状态为NotReady :检查Flannel插件是否部署成功,执行kubectl get pods -n kube-system查看kube-flannel-ds-xxx Pod状态。
  2. kubectl命令无法连接API Server :检查$HOME/.kube/config文件是否存在,或环境变量KUBECONFIG是否配置正确。
  3. Harbor镜像推送失败 :检查Docker的insecure-registries配置是否正确,Harbor服务是否正常运行。
  4. Pod拉取Harbor镜像失败:确保所有Node节点都已配置Docker信任Harbor,且已登录Harbor(或配置镜像拉取密钥)。

总结

本文详细讲解了Kubernetes 1.20集群的完整部署流程,包括环境准备、Docker安装、K8s组件部署、网络配置、可视化管理和私有仓库搭建。通过本文的步骤,可快速搭建一个稳定、可用的K8s集群,满足开发和生产环境的需求。后续可根据实际需求,扩展集群节点、配置高可用、部署监控系统(如Prometheus+Grafana)等。

相关推荐
谷隐凡二16 小时前
Kubernetes Route控制器简单介绍
java·容器·kubernetes
ysy164806723917 小时前
Docker安装(Windows版)
windows·docker·容器
2501_9404140817 小时前
搞了一次平台工程,我把本地的 Docker Desktop 彻底卸了
运维·docker·容器
掘金-我是哪吒18 小时前
Kafka配套的Zookeeper启动脚本
分布式·zookeeper·云原生·kafka
IT 行者18 小时前
微服务架构选型指南:中小型软件公司的理性思考
微服务·云原生·架构
Chan1619 小时前
微服务 - Higress网关
java·spring boot·微服务·云原生·面试·架构·intellij-idea
wok15720 小时前
Windows 上使用 Docker Desktop 教程
windows·docker·容器
没有bug.的程序员20 小时前
Serverless 架构深度解析:FaaS/BaaS、冷启动困境与场景适配指南
云原生·架构·serverless·架构设计·冷启动·baas·faas
李少兄21 小时前
Kubernetes 日志管理
docker·容器·kubernetes