k8s简介，k8s环境搭建

夏天匆匆2过2025-01-25 21:49

目录

K8s简介

Kubernetes（简称 K8s）是一个开源的容器编排平台。
起源与发展

  • K8s 最初由谷歌公司开发，于 2014 年开源。它借鉴了谷歌内部大规模容器管理的经验和技术，旨在为容器化应用提供一个高效、可靠、可扩展的管理平台。
  • 随着容器技术的快速发展和广泛应用，K8s 迅速成为容器编排领域的事实标准，被众多企业和组织广泛采用，并且在不断地发展和完善中，社区活跃度极高，持续推动着 K8s 功能的丰富和性能的提升。

主要组件

  • Master 节点：是 K8s 集群的控制中心，负责管理和协调整个集群。包含 API Server、Scheduler、Controller Manager 等组件，API Server 提供了 K8s 的 API 接口，用于接收和处理用户请求；Scheduler 负责将 Pod 调度到合适的 Node 节点上；Controller Manager 负责管理和维护集群中各种资源的状态。
  • Node 节点：是 K8s 集群中的工作节点，用于运行容器化应用。包含 kubelet、kube-proxy 等组件，kubelet 负责与 Master 节点通信，接收并执行 Master 节点下达的任务，管理本节点上的容器；kube-proxy 负责实现 Pod 的网络代理和负载均衡功能。

环境搭建和准备工作

使用三台一模一样的centos7虚拟机，内存4G，4核，40G磁盘，一台做master，另外两台做node。

bash 复制代码 
[root@localhost ~]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)
[root@localhost ~]# uname -a
Linux localhost.localdomain 3.10.0-1160.el7.x86_64 #1 SMP Mon Oct 19 16:18:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
[root@localhost ~]#

修改主机名（所有节点）

分别执行。

bash 复制代码 
hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2

配置静态IP（所有节点）

vim /etc/sysconfig/network-scripts/ifcfg-ens33

bash 复制代码 
# 将BOOTPROTO从dhcp改为static或none
BOOTPROTO=static
# 若没有ONBOOT添加
ONBOOT=yes
# 下面的都需要添加,如果在桥接模式下ip地址要和实体机相同网段，网关要和实体机网关相同。如果是nat则和nat网段相同。
IPADDR=192.168.3.147
PREFIX=24
GATEWAY=192.168.3.1
#DNS服务器可以只配置一个，当然也可以配置两个
DNS1=114.114.114.114
DNS2=8.8.8.8

配置完成后重启网络服务

bash 复制代码 
systemctl restart network

关闭防火墙和seLinux，清除iptables规则（所有节点）

为了防止干扰k8s运行。

bash 复制代码 
# 关闭防火墙并且设置开机不启动
systemctl stop firewalld
systemctl disable firewalld
# 关闭seLinux，getenforce是获取seLinux的状态
# 没有设置过seLinux一般getenforce查询结果为Enforcing，需设置为disable关闭
getenforce
# 直接修改文件，改为SELINUX=disabled，重启之后生效
vim /etc/selinux/config
# 清除iptables规则
iptables -F

关闭交换分区（所有节点）

高版本的k8s要求必须关闭分区。

bash 复制代码 
# 临时关闭
swapoff -a
# 修改/etc/fstab文件永久关闭，将文件中/dev/mapper/centos-swap swap行注释即可，也可以直接运行下面这条命令
sed -i '/swap/ s/^\(.*\)$/#\1/g' /etc/fstab

修改/etc/hosts文件（所有节点）

bash 复制代码 
# 直接运行下面的命令，记得将IP地址修改为自己机器的IP地址，主机名字也换成自己的
cat >> /etc/hosts << EOF
192.168.3.147 master
192.168.3.146 node1
192.168.3.145 node2
EOF

配置ssh免密登录（master节点）

先生成密钥

bash 复制代码 
ssh-keygen

再复制到所有节点

bash 复制代码 
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2

测试连接，免密登录

bash 复制代码 
ssh node1
# 登出
exit

加载模块br_netfilter（所有节点）

bash 复制代码 
# 临时加载
modprobe br_netfilter
# 永久加载，创建文件，在文件中写入模块名字br_netfilter
vim /etc/modules-load.d/k8s.conf

systemctl restart systemd-modules-load.service

修改内核参数以满足k8s的运行需求（所有节点）

bash 复制代码 
cat <<EOF >> /etc/sysctl.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
vm.swappiness=0
EOF

# 重新加载系统参数配置，让上面的修改生效
sysctl -p

配置centos7镜像源（所有节点）

报错：

CentOS 7 仓库已经被归档，当前的镜像地址无法找到所需的文件。CentOS 7 的官方支持已经结束，部分仓库已被移至归档库。导致 yum 命令无法找到所需的元数据文件。

bash 复制代码 
cd /etc/yum.repos.d
mv CentOS-Base.repo   CentOS-Base.repo.backup
vim CentOS-Base.repo

添加如下内容

bash 复制代码 
# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#
 
[base]
name=CentOS-$releasever - Base
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/
#baseurl=http://vault.centos.org/7.9.2009/x86_64/os/
baseurl=http://vault.centos.org/7.9.2009/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
 
#released updates 
[updates]
name=CentOS-$releasever - Updates
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/
#baseurl=http://vault.centos.org/7.9.2009/x86_64/os/
baseurl=http://vault.centos.org/7.9.2009/updates/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
 
#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras&infra=$infra
#$baseurl=http://mirror.centos.org/centos/$releasever/extras/$basearch/
#baseurl=http://vault.centos.org/7.9.2009/x86_64/os/
baseurl=http://vault.centos.org/7.9.2009/extras/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
 
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/centosplus/$basearch/
#baseurl=http://vault.centos.org/7.9.2009/x86_64/os/
baseurl=http://vault.centos.org/7.9.2009/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

再添加阿里镜像源。

bash 复制代码 
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

执行生效。

bash 复制代码 
um clean all
um makecache

安装docker（所有节点）

bash 复制代码 
#安装工具包
yum install -y yum-utils
# 使用工具包自动下载docker，这是官方的源，太卡
#yum-config-manager \
#    --add-repo \
#    https://download.docker.com/linux/centos/docker-ce.repo
    
#建议使用阿里云镜像替换官方源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 指定版本安装docker
yum install -y docker-ce-20.10.0 docker-ce-cli-20.10.0 containerd.io

# 开启docker服务
systemctl start docker
# 设置开机启动
systemctl enable docker
  • 配置Docker使用systemd作为默认Cgroup驱动。
  • 配置docker镜像源。
bash 复制代码 
vim /etc/docker/daemon.json
{
	"registry-mirrors": [
        "https://71v143bd.mirror.aliyuncs.com",
        "https://docker.m.daocloud.io"
    ],
	"exec-opts": ["native.cgroupdriver=systemd"]
}

#重启docker
systemctl daemon-reload
systemctl restart docker

安装k8s（所有节点）

添加k8s yum源

bash 复制代码 
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm，kubelet，kubectl（指定版本）

bash 复制代码 
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6

设置kubelet开机自启动

bash 复制代码 
systemctl enable kubelet

安装CoreDNS容器（k8s集群运行时需要CoreDNS提供DNS解析服务）

bash 复制代码 
docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.4

master节点初始化（master节点）

使用kubeadm init命令进行初始化。

  • apiserver-advertise-address修改为master主机IP地址。
  • --pod-network-cidr有两个值，打算使用calico网络插件时，最好使用192.168.0.0/16，打算使用flannel网络插件时最好使用10.244.0.0/16；这两个都是相应网络插件的默认IP，否则需要修改对应配置文件。
bash 复制代码 
kubeadm init \
--apiserver-advertise-address=192.168.3.147 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
#--pod-network-cidr=10.244.0.0/16
--pod-network-cidr=192.168.0.0/16
--kubernetes-version=v1.23.6

等待几分钟，看到下面的内容说明成功了。

注意红圈中的命令，在节点机器运行kubeadm join部分的命令加入节点。

在node1和node2节点执行join

bash 复制代码 
kubeadm join 192.168.3.147:6443 --token v2q814.ab6aywry0350o52v \
	--discovery-token-ca-cert-hash sha256:4fe3d2cebdcb34b198e43bfd1453d15bbad5cac7b98c902776a7795bd26214ec

执行成功输出：

使用kubectl管理集群（master节点）

初始化kubectl

bash 复制代码 
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

查看节点状态

bash 复制代码 
kubectl get node

到这里发现所有节点为NotReady状态，这是因为完成互通还需要安装CNI（Container Networking Interface）网络插件。

安装CNI网络插件

CNI 全称是"Container Networking Interface"，即容器网络接口，它提供了一种标准的插件机制，用于连接容器到底层网络中。CNI 插件是一种可执行程序，它将实现容器网络连接的一些逻辑打包在一起，允许容器使用不同的网络模型，并提供了一组网络抽象接口。在 Kubernetes 等容器编排平台中，CNI 插件被广泛使用来实现容器网络。

CNI 插件可以由第三方厂商开发和维护，因此，可以选择最适合自己的插件。CNI 插件通常运行在主机上，并由容器运行时调用，例如 Docker、rkt 等。当容器需要连接到主机网络时，CNI 插件将会为其创建必要的网络接口和路由规则。

一些常用的 CNI 插件包括：

  • Flannel：一个简单易用的网络解决方案，支持多种部署模式。
  • Calico：一个高度可扩展的容器网络方案，旨在为大规模生产环境提供网络和安全性。
  • Weave Net：一个分布式的容器网络方案，具有良好的可扩展性和高度自动化的管理。
  • Cilium：一个基于 eBPF 的容器网络和安全解决方案，提供强大的流量控制和安全性。

安装Calico（master节点）

先创建个文件夹，用于存放配置文件：

bash 复制代码 
mkdir -p /work/devops/k8s/config
cd /work/devops/k8s/config

下载calico配置文件

bash 复制代码 
wget https://docs.tigera.io/archive/v3.25/manifests/calico.yaml

修改calico配置文件

bash 复制代码 
vim calico.yaml

原来的配置

bash 复制代码 
# - name: CALICO_IPV4POOL_CIDR
#   value: "192.168.0.0/16"

修改后的配置（注意：value与上边kubeadm init的--pod-network-cidr参数保持一致）

  • 特别注意：修改的两行一定要注意缩进和上面的内容保持一致，否则会报奇奇怪怪的错误。

启用calico

bash 复制代码 
kubectl apply -f ./calico.yaml

查看pod状态

bash 复制代码 
kubectl get pods -A

Calico的状态错误Init:ImagePullBackOff或Init:ErrImagePull，镜像没有拉取成功。

可以删除失败pod，重新拉取，但通常还是失败，calico-node-bvvhc替换成实际镜像名称。

bash 复制代码 
kubectl  get pods -n kube-system | grep calico-node-bvvhc   | awk '{print$1}'| xargs kubectl delete -n kube-system pods

可以手动拉取calico，注意这一步所有节点都要执行。

bash 复制代码 
docker pull calico/cni:v3.25.0

上一步完成后，再次查询pod状态，镜像已经在拉取了。

bash 复制代码 
kubectl get pods -A

查询节点状态，都是Ready。

相关推荐
周杰伦_Jay15 分钟前
详细介绍：持续集成与持续部署（CI/CD）技术细节（关键实践、CI/CD管道、优势与挑战）
程序人生·ci/cd·docker·微服务·云原生·容器·人机交互
Main. 242 小时前
Linux的基本指令（上）
linux·服务器
骑台风走3 小时前
ubunut22.04安装docker(基于阿里云 Docker 镜像源安装 Docker)
阿里云·docker·容器
头铁散人4 小时前
IMX6ull项目环境配置
linux·运维·服务器
仇辉攻防4 小时前
【云安全】云原生-Docker（五）容器逃逸之漏洞利用
安全·web安全·网络安全·docker·云原生·容器·安全性测试
怡步晓心l7 小时前
Linux下Ubuntun系统报错find_package(BLAS REQUIRED)找不到
linux·运维·服务器
惊鸿一博7 小时前
ubuntu_查询连接当前服务器的用户ip
服务器·tcp/ip·ubuntu
金灰9 小时前
Linux文本处理三剑客：awk、sed、grep
linux·运维·服务器·chrome·安全
节省钱9 小时前
【Git】如何在 Git 提交后补充 Change-Id
服务器·git·gitee·gitlab·github·gitcode
华纳云IDC服务商10 小时前
怎么调整香港服务器硬盘分区大小?
运维·服务器
热门推荐
01具身智能之RT-H02Dell服务器升级ubuntu 22.04失败解决03半导体应用系统一些小知识收集(strip&wafer mapping,EAP&scada)04xgboost: Why not implement distributed XGBoost on top of spark05Windows10安装PCL1.14.0及点云配准06密码学原理技术-第六章-introduction to pulibc-key cryptography07Vue Router 快速入门08centos7 init.d 和system.d09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10BMC 虚拟i2c访问PCA9545(switch芯片)后面的设备,为什么找不到PCA9545?