K8s简介和安装部署

MIKROKSMOS_L2024-10-18 13:32

一、Kubernetes****简介及部署方法

**1、**应用部署方式演变

Kubernetes简称为K8s，是用于自动部署、扩缩和管理容器化应用程序的开源系统，起源于Google 集群管理工具Borg。


传统部署 ：互联网早期，会直接将应用程序部署在物理机上

**·**优点：简单，不需要其它技术的参与

**·**缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响
虚拟化部署 ：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

**·**优点：程序环境不会相互产生影响，提供了一定程度的安全性

**·**缺点：增加了操作系统，浪费了部分资源
容器化部署 ：与虚拟化类似，但是共享了操作系统

2、kubernetes****简介

在Docker 作为高级容器引擎快速发展的同时，在Google内部，容器技术已经应用了很多年

Borg系统运行管理着成千上万的容器应用。

Kubernetes项目来源于Borg，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经

验和教训。

Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交

给用户。

3、K8S****的设计架构

1.3.1 K8S****各个组件用途


一个kubernetes集群主要是由控制节点****(master)、工作节点**(node)**构成，每个节点上都会安装不同的组件

1 master**：集群的控制平面，负责集群的决策**

ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制

Scheduler : 负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上

ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新

等

Etcd ：负责存储集群中各种资源对象的信息

2 node**：集群的数据平面，负责为容器提供运行环境**

kubelet：负责维护容器的生命周期，同时也负责Volume（CVI）和网络（CNI）的管理

Container runtime：负责镜像管理以及Pod和容器的真正运行（CRI）

kube-proxy：负责为Service提供cluster内部的服务发现和负载均衡

1.3.2 K8S****各组件之间的调用关系

当我们要运行一个 web 服务时

  1. kubernetes 环境启动之后， master 和 node 都会将自身的信息存储到 etcd 数据库中
  2. web 服务的安装请求会首先被发送到 master 节点的 apiServer 组件
  3. apiServer 组件会调用 scheduler 组件来决定到底应该把这个服务安装到哪个 node 节点上
    在此时，它会从 etcd 中读取各个 node 节点的信息，然后按照一定的算法进行选择，并将结果告知
    apiServer
  4. apiServer 调用 controller-manager 去调度 Node 节点安装 web 服务

1.3.3k8S****的分层架构


**·**核心层： Kubernetes 最核心的功能，对外提供 API 构建高层的应用，对内提供插件式应用执行环境
**·**应用层：部署（无状态应用、有状态应用、批处理任务、集群应用等）和路由（服务发现、 DNS 解析等）
**·**管理层：系统度量（如基础设施、容器和网络的度量），自动化（如自动扩展、动态 Provision 等）以及策略管理（RBAC 、 Quota 、 PSP 、 NetworkPolicy 等）
**·**接口层： kubectl 命令行工具、客户端 SDK 以及集群联邦
**·**生态系统：在接口层之上的庞大容器集群管理调度的生态系统，可以划分为两个范畴
**·**Kubernetes 外部：日志、监控、配置管理、 CI 、 CD 、 Workflow 、 FaaS 、 OTS 应用、 ChatOps 等
**·**Kubernetes 内部： CRI 、 CNI 、 CVI 、镜像仓库、 Cloud Provider 、集群自身的配置和管理等

二**、K8S****集群环境搭建**

2.1 k8s****中容器的管理方式

2.2 k8s****集群部署

2.2.1 k8s****环境部署说明

K8S 中文官网： https://kubernetes.io/zh-cn/

[root@docker-hub yum.repos.d]# yum install docker-ce -y
[root@docker-hub yum.repos.d]# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock 
--iptables=true

[root@docker-hub yum.repos.d]# systemctl enable --now docker.service、
[root@docker-hub yum.repos.d]# docker info
[root@docker-hub ~]# docker load -i registry.tag.gz 
[root@docker-hub ~]# mkdir certs
[root@docker-hub ~]# vim /etc/hosts 
172.25.254.250  harbor.timinglee.org reg.timinglee.org
[root@docker-hub ~]# openssl req -newkey rsa:4096 -nodes -sha256 -keyout certs/timinglee.org.key -addext "subjectAltName = DNS:reg.timinglee.org" -x509 -days 365 -out certs/timinglee.org.crt
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:SHANXI
Locality Name (eg, city) [Default City]:XIAN
Organization Name (eg, company) [Default Company Ltd]:DOCKER
Organizational Unit Name (eg, section) []:RIGISTRG
Common Name (eg, your name or your server's hostname) []:reg.timinglee.org
Email Address []:admin@timinglee.org
[root@docker-hub ~]# tar zxf harbor-offline-installer-v2.5.4.tgz 
[root@docker-hub ~]# cd harbor/
[root@docker-hub harbor]# cp harbor.yml.tmpl harbor.yml
[root@docker-hub harbor]# vim harbor.yml
hostname: reg.timinglee.org
 certificate: /data/certs/timinglee.org.crt
  private_key: /data/certs/timinglee.org.key
harbor_admin_password: 123
[root@docker-hub ~]# docker load -i nginx-latest.tar.gz 
[root@docker-hub ~]# mkdir /data/
[root@docker-hub ~]# cd /data/
[root@docker-hub data]# cp /root/certs/ /data/ -r
[root@docker-hub ~]# cd harbor/
[root@docker-hub harbor]# ./install.sh --with-chartmuseum
[root@docker-hub harbor]#  mkdir -p /etc/docker/certs.d/reg.timinglee.org -p
[root@docker-hub certs]# cp /root/certs/timinglee.org.crt/etc/docker/certs.d/reg.timinglee.org/ca.crt

做本地解析，路径：

上传镜像：

[root@docker-hub harbor]# docker login reg.timinglee.org
[root@docker-hub harbor]# docker push reg.timinglee.org/timinglee/nginx:latest

2.2.2****集群环境初始化

  • 所有节点禁用selinux和防火墙
  • 所有节点同步时间和解析
  • 所有节点安装docker-ce
  • 所有节点禁用swap，注意注释掉/etc/fstab文件中的定义
  [root@k8s-master ~]# vmset.sh eth0 172.25.254.100 k8s-master.timinglee.org
  [root@k8s-node1 ~]# vmset.sh eth0 172.25.254.10 k8s-node1.timinglee.org
  [root@k8s-node2~]# vmset.sh eth0 172.25.254.20 k8s-node2.timinglee.org
  [root@docker-hub ~]# vmset.sh eth0 172.25.254.250 docker-hub.timinglee.org

本地解析：

安装docker：
[root@k8s-master ~]# mkdir /etc/docker/certs.d/reg.timinglee.org/ -p

[root@reg ~]# scp /data/certs/timinglee.org.crt root@172.25.254.100:/etc/docker/certs.d/reg.timinglee.org/ca.crt
[root@k8s-master ~]# vim /etc/docker/daemon.json

[root@k8s-master ~]# systemctl enable --now docker

[root@k8s-master ~]# docker info

[root@k8s-master ~]# docker pull timinglee/nginx:latest
k8s-node、k8s-node2配置：
[root@k8s-master ~]# scp *.rpm root@172.25.254.10:/mnt
[root@k8s-master ~]# scp *.rpm root@172.25.254.20:/mnt
 
[root@k8s-node1 ~]# cd /mnt/
[root@k8s-node1 mnt]# ls
containerd.io-1.7.20-3.1.el9.x86_64.rpm
docker-buildx-plugin-0.16.2-1.el9.x86_64.rpm
docker-ce-27.1.2-1.el9.x86_64.rpm
docker-ce-cli-27.1.2-1.el9.x86_64.rpm
docker-ce-rootless-extras-27.1.2-1.el9.x86_64.rpm
docker-compose-plugin-2.29.1-1.el9.x86_64.rpm
hgfs
[root@k8s-node1 mnt]# dnf install *.rpm -y
[root@k8s-node2 mnt]# dnf install *.rpm -y
[root@k8s-master ~]# scp -r /etc/docker/ root@172.25.254.10:/etc/
root@172.25.254.10's password:
ca.crt                                                                      100% 2187     2.0MB/s   00:00
daemon.json                                                                 100%   55     5.1KB/s   00:00
[root@k8s-master ~]# scp -r /etc/docker/ root@172.25.254.20:/etc/
root@172.25.254.20's password:
ca.crt                                                                      100% 2187     2.0MB/s   00:00
daemon.json                                                                 100%   55     5.1KB/s   00:00
[root@k8s-node2 mnt]# cd /etc/docker/
[root@k8s-node2 docker]# ls
certs.d  daemon.json
[root@k8s-node2 docker]# cd certs.d/
[root@k8s-node2 certs.d]# ls
reg.timinglee.org
[root@k8s-node2 certs.d]# cd ..
[root@k8s-node2 docker]# cat daemon.json
{
  "registry-mirrors":["https://reg.timinglee.org"]
}
[root@k8s-node1 mnt]# systemctl enable --now docker.service
Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
[root@k8s-node2 mnt]# systemctl enable --now docker.service
Created symlink /etc/systemd/system/multi-user.target.wants/docker.service → /usr/lib/systemd/system/docker.service.
[root@k8s-node1 mnt]# docker info
k8s安装：
[root@k8s-master ~]# cd /mnt/
[root@k8s-master mnt]# ls
cri-dockerd-0.3.14-3.el8.x86_64.rpm  hgfs  libcgroup-0.41-19.el8.x86_64.rpm
[root@k8s-master mnt]# scp cri-dockerd-0.3.14-3.el8.x86_64.rpm libcgroup-0.41-19.el8.x86_64.rpm  root@172.25.254.10:/opt/
[root@k8s-master mnt]# scp cri-dockerd-0.3.14-3.el8.x86_64.rpm libcgroup-0.41-19.el8.x86_64.rpm  root@172.25.254.20:/opt/                                      
[root@k8s-node1 ~]# dnf install /opt/*.rpm -y
[root@k8s-node2 ~]# dnf install /opt/*.rpm -y
[root@k8s-node1 ~]# systemctl enable --now cri-docker.service
[root@k8s-node2 ~]# systemctl enable --now cri-docker.service
[root@k8s-master ~]# cd /etc/yum.repos.d/
[root@k8s-master yum.repos.d]# ls
redhat.repo  rhel9.repo
[root@k8s-master yum.repos.d]# vim k8s.repo
[k8s]
name=k8s
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm
gpgcheck=0
[root@k8s-master yum.repos.d]# dnf install kubelet-1.30.0 kubeadm-1.30.0 --downloadonly --downloaddir=/mnt
[root@k8s-master yum.repos.d]# scp /etc/yum.repos.d/k8s.repo  root@172.25.254.20:/etc/yum.repos.d/
[root@k8s-master yum.repos.d]# scp /etc/yum.repos.d/k8s.repo  root@172.25.254.10:/etc/yum.repos.d/
[root@k8s-node1 mnt]# dnf install kubectl-1.30.0 -y
[root@k8s-node2 mnt]# dnf install kubectl-1.30.0 -y
设置 kubectl 命令补齐功能
# 设置补齐功能
[root@k8s-master ~]# dnf install bash-completion -y
[root@k8s-master ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@k8s-master ~]# source ~/.bashrc
在 master 节点拉取 K8S 所需镜像
#拉取k8s集群所需要的镜像
 
[root@k8s-master ~]# kubeadm config images pull \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock

上传镜像到harbor仓库

#上传镜像到harbor仓库
[root@k8s-master ~]# docker images | awk '/google/{ print $1":"$2}' \
| awk -F "/" '{system("docker tag "$0" reg.timinglee.org/k8s/"$3)}'
[root@k8s-master ~]# docker images | awk '/k8s/{system("docker push "$1":"$2)}'

2.3集群初始化

#启动kubelet服务
[root@k8s-master ~]# systemctl status kubelet.service
#执行初始化命令
[root@k8s-master ~]# kubeadm init --pod-network-cidr=10.244.0.0/16 \
--image-repository reg.timinglee.org/k8s \
--kubernetes-version v1.30.0 \
--cri-socket=unix:///var/run/cri-dockerd.sock
#指定集群配置文件变量
[root@k8s-master ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> 
~/.bash_profile
#当前节点没有就绪，因为还没有安装网络插件，容器没有运行
[root@k8s-master ~]# kubectl get node
NAME                       STATUS     ROLES           AGE     VERSION
k8s-master.timinglee.org   NotReady   control-plane   4m25s   v1.30.0
root@k8s-master ~]# kubectl get pod -A
NAMESPACE     NAME                                               READY   STATUS   
RESTARTS   AGE
kube-system   coredns-647dc95897-2sgn8                           0/1     Pending 
  0         6m13s
kube-system   coredns-647dc95897-bvtxb                           0/1     Pending 
  0         6m13s
kube-system   etcd-k8s-master.timinglee.org                      1/1     Running 
  0         6m29s
kube-system   kube-apiserver-k8s-master.timinglee.org            1/1     Running 
  0         6m30s
kube-system   kube-controller-manager-k8s-master.timinglee.org   1/1     Running 
  0         6m29sNote

2.4 安装flannel网络插件

#下载flannel的yaml部署文件
[root@k8s-master ~]# wget https://github.com/flannelio/flannel/releases/latest/download/kube-flannel.yml
#下载镜像：
[root@k8s-master
 ~]# docker pull docker.io/flannel/flannel:v0.25.5
[root@k8s-master ~]# docekr docker.io/flannel/flannel-cni-plugin:v1.5.1-flannel1
#上传镜像到仓库
[root@k8s-master ~]# docker tag flannel/flannel:v0.25.5 \
reg.timinglee.org/flannel/flannel:v0.25.5
[root@k8s-master ~]# docker push reg.timinglee.org/flannel/flannel:v0.25.5
[root@k8s-master ~]# docker tag flannel/flannel-cni-plugin:v1.5.1-flannel1 \
reg.timinglee.org/flannel/flannel-cni-plugin:v1.5.1-flannel1
[root@k8s-master ~]# docker push reg.timinglee.org/flannel/flannel-cniplugin:v1.5.1-flannel1
#编辑kube-flannel.yml
修改镜像下载位置
[root@k8s-master ~]# vim kube-flannel.yml
#需要修改以下几行
[root@k8s-master ~]# grep -n image kube-flannel.yml
146:       image: reg.timinglee.org/flannel/flannel:v0.25.5
173:       image: reg.timinglee.org/flannel/flannel-cni-plugin:v1.5.1-flannel1
184:       image: reg.timinglee.org/flannel/flannel:v0.25.5
#安装flannel网络插件
[root@k8s-master ~]# kubectl apply -f kube-flannel.yml

2.5节点扩容

在所有的 worker 节点中
1、 确认部署好以下内容
2、 禁用 swap
3、 安装：
kubelet-1.30.0
kubeadm-1.30.0
kubectl-1.30.0
docker-ce
cri-dockerd
4、 修改 cri-dockerd 启动文件添加
--network-plugin=cni
--pod-infra-container-image=reg.timinglee.org/k8s/pause:3.9
5、 启动服务
kubelet.service
cri-docker.service
以上信息确认完毕后即可加入集群

# node1与node2相同操作
[root@k8s-node1 ~]# kubeadm join 172.25.254.100:6443 --token
5hwptm.zwn7epa6pvatbpwf --discovery-token-ca-cert-hash
sha256:52f1a83b70ffc8744db5570288ab51987ef2b563bf906ba4244a300f61e9db23 --crisocket=unix:///var/run/cri-dockerd.sock
 
[root@k8s-master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master.yee.org Ready control-plane 98m v1.30.0
k8s-node1.yee.org Ready <none> 21m v1.30.0
k8s-node2.yee.org Ready <none> 21m v1.30.0
 
# 建立
[root@k8s-master ~]# kubectl run test --image nginx
 
# 查看状态
[root@k8s-master ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
test 1/1 Running 0 6m29s
 
# 删除
root@k8s-master ~]# kubectl delete pod
相关推荐
Code_Artist2 小时前
使用Portainer来管理并编排Docker容器
docker·云原生·容器
Eternal-Student2 小时前
【docker 保存】将Docker镜像保存为一个离线的tar归档文件
运维·docker·容器
码农小丘2 小时前
一篇保姆式centos/ubuntu安装docker
运维·docker·容器
灼烧的疯狂4 小时前
K8S + Jenkins 做CICD
容器·kubernetes·jenkins
wenyue11215 小时前
Revolutionize Your Kubernetes Experience with Easegress: Kubernetes Gateway API
容器·kubernetes·gateway
梅见十柒7 小时前
wsl2中kali linux下的docker使用教程（教程总结）
linux·经验分享·docker·云原生
Python私教7 小时前
ubuntu搭建k8s环境详细教程
linux·ubuntu·kubernetes
运维&陈同学8 小时前
【zookeeper01】消息队列与微服务之zookeeper工作原理
运维·分布式·微服务·zookeeper·云原生·架构·消息队列
O&REO9 小时前
单机部署kubernetes环境下Overleaf-基于MicroK8s的Overleaf应用部署指南
云原生·容器·kubernetes
politeboy9 小时前
k8s启动springboot容器的时候，显示找不到application.yml文件
java·spring boot·kubernetes
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07怎样让音频速度变慢？请跟随以下方法进行操作08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10【目标跟踪】相机运动补偿