云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
在经历了 Ceph 分布式存储的打磨之后,我们终于来到了云原生技术的绝对核心------Kubernetes (K8s)。如果说 Docker 是单兵作战的利器,那么 K8s 就是统领千军万马的指挥中枢。在真实的生产环境中,我们不仅需要 K8s 来管理海量的容器,还需要一套极度标准化的底层操作系统来支撑它。
今天的笔记将涵盖从 K8s 架构理论、Ubuntu 24.04 基础系统调优、容器运行时(containerd)配置,一直到利用 kubeadm 自动化构建 K8s 高可用集群的全流程。内容极其硬核,涉及大量底层排障与核心指令参数拆解,建议大家当作生产环境部署手册来查阅。
第一部分:Kubernetes 架构与核心原理解析
1.1 应用部署的演进过程
企业应用部署经历了三个时代:
- 传统部署:应用直接跑在物理机上,资源无法隔离,一个应用 OOM 可能拖垮整台服务器。
- 虚拟化部署:通过 KVM/VMware 实现硬件级别的资源隔离,安全性高,但每个虚拟机都需要运行完整的操作系统,资源开销极大。
- 容器化部署:共享宿主机操作系统内核,秒级启动,轻量且可移植。
1.2 K8s 的核心特性
K8s 并非一个传统的 PaaS 平台,它不限制语言、框架,也不提供数据库中间件,它只做一件事:管理容器化应用。
- 自我修复:当容器崩溃或节点宕机时,自动重启或在其他节点重新拉起 Pod。
- 服务发现与负载均衡:通过 Service 为一组 Pod 提供统一的 DNS 名称和负载均衡。
- 存储编排:自动挂载本地存储、公有云存储或 Ceph 等网络存储。
- 自动扩缩容:根据 CPU 或内存使用情况自动调整 Pod 数量。
1.3 架构组件全景图
- Master 控制平面 :
kube-apiserver:集群的唯一入口,接收所有 REST 请求。kube-scheduler:负责按照调度算法(亲和性、资源等)将 Pod 分配到合适的 Node。kube-controller-manager:维护集群状态,例如副本数控制、节点故障检测等。etcd:一致性哈希键值数据库,保存集群的所有状态数据。
- Worker 节点 :
kubelet:节点上的"小管家",负责与 API Server 通信,管理容器的生命周期。kube-proxy:负责维护节点的网络规则(如 iptables/IPVS),实现 Service 的负载均衡。Container Runtime:真正运行容器的引擎(如 containerd、CRI-O)。
第二部分:Ubuntu 24.04 系统标准化与排障
K8s 对底层系统极其挑剔。本次选用 Ubuntu 24.04 作为底层 OS,安装时需注意:不要配置 swap 分区 (K8s 要求禁用交换内存以保障性能),分区建议 /boot 给 2G,/ 给 90G。
2.1 软件包管理与排障
Ubuntu 采用 Debian 的软件包管理体系(dpkg 与 apt),在生产环境中,熟练使用这些命令是基础。
指令 1:配置国内镜像源
为了加快软件下载速度,必须替换默认的官方源。
bash
# 备份原有源文件(好习惯)
root@ubuntu2404:~# cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak
# 使用 cat 和 heredoc 写入新的源配置
# Types: 软件包类型(deb为二进制)
# URIs: 镜像地址
# Suites: 版本代号
root@ubuntu2404:~# cat > /etc/apt/sources.list.d/ubuntu.sources <<'EOF'
Types: deb
URIs: http://mirrors.huaweicloud.com/ubuntu/
Suites: noble noble-updates noble-backports
Components: main restricted universe multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
EOF
指令 2:深度解析 apt 与 dpkg 常用指令
这里需要重点拆解命令行参数。例如,我们经常执行的安装命令:
bash
# -y 的作用:自动回答 yes,避免交互式安装导致的卡顿
root@ubuntu2404:~# apt install -y vim lrzsz bash-completion
选项解析:
apt update:刷新本地软件包索引。注意:这不会升级软件,只是获取仓库最新包清单。apt install -y:-y(或--assume-yes)表示自动确认所有提示,这在自动化脚本中极其重要。dpkg -i package.deb:-i代表 install,用于安装本地.deb包,但它不解决依赖关系,需配合apt install -f修复依赖。dpkg -L package:-L(list files)列出该包安装的所有文件清单。dpkg -S /bin/ls:-S(search)反向查询某个文件属于哪个软件包。
2.2 Netplan 网络配置
Ubuntu 24.04 使用 Netplan 来管理网络,它本质上是 systemd-networkd 或 NetworkManager 的前端工具。
bash
# 1. 备份默认配置
root@ubuntu2404:~# mkdir /etc/netplan/origin
root@ubuntu2404:~# mv /etc/netplan/*yaml /etc/netplan/origin
# 2. 编写静态 IP 配置
# 注意 YAML 格式极其严格,严禁使用 Tab 键,只能用空格缩进。
root@ubuntu2404:~# cat > /etc/netplan/00-static.yaml <<EOF
network:
ethernets:
ens32:
dhcp4: no
addresses:
- 10.1.8.30/24
routes:
- to: default
via: 10.1.8.2
nameservers:
addresses:
- 10.1.8.2
- 223.5.5.5
version: 2
EOF
# 3. 设置安全权限
# Netplan 出于安全考虑,要求配置文件权限不能过大
root@ubuntu2404:~# chmod 600 /etc/netplan/00-static.yaml
# 4. 应用配置
root@ubuntu2404:~# netplan apply
第三部分:K8s 集群的前置环境调优
在这一阶段,我们需要配置内核参数、加载模块并准备容器运行时。任何一个环节遗漏,都可能导致集群初始化失败。
3.1 内核模块与参数调优
K8s 的流量转发高度依赖 IPVS 和 iptables 桥接,必须显式开启这些内核模块。
bash
# 1. 临时加载模块(立即生效)
# modprobe 用于加载内核模块
root@ubuntu2404:~# modprobe overlay
root@ubuntu2404:~# modprobe br_netfilter
root@ubuntu2404:~# modprobe ip_vs
root@ubuntu2404:~# modprobe ip_vs_rr
root@ubuntu2404:~# modprobe ip_vs_wrr
root@ubuntu2404:~# modprobe ip_vs_lc
root@ubuntu2404:~# modprobe ip_vs_sh
root@ubuntu2404:~# modprobe nf_conntrack
# 2. 永久加载模块(重启生效)
root@ubuntu2404:~# cat > /etc/modules-load.d/k8s-net.conf << EOF
br_netfilter
overlay
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_lc
ip_vs_sh
nf_conntrack
EOF
# 3. 配置内核网络参数
# cat 将以下配置写入文件
root@ubuntu2404:~# cat > /etc/sysctl.d/k8s.conf << 'EOF'
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
EOF
# 4. 使内核参数立即生效
# -p 参数表示从指定文件加载配置,替代直接修改 /etc/sysctl.conf
root@ubuntu2404:~# sysctl -p /etc/sysctl.d/k8s.conf
3.2 容器运行时:Containerd 与镜像加速实战
Kubernetes 1.24 之后彻底移除了对 Docker 的直接支持,转而使用实现了 CRI(容器运行时接口)的 containerd。
指令 1:安装并初始化 Containerd
bash
# 安装 containerd 和 crictl (CRI 命令行工具)
root@ubuntu2404:~# apt-get install -y containerd.io=1.7.20-1 cri-tools
# 生成默认配置文件
# 注意重定向符号 > 会覆盖原有文件
root@ubuntu2404:~# containerd config default > /etc/containerd/config.toml
# 修改 cgroup 驱动为 Systemd
# 如果不改,会导致 kubelet 启动失败或节点 NotReady
root@ubuntu2404:~# sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
# 替换 Pause 镜像地址(因为官方 registry.k8s.io 国内被墙)
root@ubuntu2404:~# sed -i 's|sandbox_image = ".*"|sandbox_image = "registry.k8s.io/pause:3.9"|' /etc/containerd/config.toml
指令 2:配置镜像加速(极其容易踩坑)
在生产环境中,我们经常遇到一种诡异现象:用 crictl 能拉取镜像,但用 nerdctl 却拉取不到,反之亦然。原因在于:
crictl走的是 CRI 接口,读取/etc/containerd/config.toml中的registry.mirrors。nerdctl走的是 containerd 原生 API,不读 CRI 配置,而是读/etc/containerd/certs.d/。
bash
# 1. 修改 containerd 配置文件(针对 CRI)
# 使用 vim 打开后,手工在对应节点下添加,注意 YAML 缩进
root@ubuntu2404:~# vim /etc/containerd/config.toml
# 找到 [plugins."io.containerd.grpc.v1.cri".registry.mirrors] 加入:
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["http://hub.laoma.cloud","https://docker.m.daocloud.io"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]
endpoint = ["https://k8s.m.daocloud.io"]
# 重启服务
root@ubuntu2404:~# systemctl restart containerd.service
# 2. 为 nerdctl 配置独立的 hosts.toml(针对 Native API)
root@ubuntu2404:~# mkdir -p /etc/containerd/certs.d/docker.io
root@ubuntu2404:~# cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://registry-1.docker.io"
[host."https://docker.m.daocloud.io"]
capabilities = ["pull", "resolve"]
EOF
# 3. 验证拉取
# 注意:nerdctl 默认命名空间为 default,而 k8s 用 k8s.io。
# 如果需要在 nerdctl 中看到 k8s 的镜像,需设置环境变量:
root@ubuntu2404:~# export CONTAINERD_NAMESPACE=k8s.io
root@ubuntu2404:~# crictl pull registry.k8s.io/pause:3.9
root@ubuntu2404:~# nerdctl pull docker.io/library/busybox
指令 3:安装 Kubernetes 组件
bash
# 安装指定版本的 kubeadm, kubelet, kubectl
root@ubuntu2404:~# apt install -y kubeadm=1.30.2-1.1 kubelet=1.30.2-1.1 kubectl=1.30.2-1.1
# 设置 kubelet 开机自启
# 此时 kubelet 处于 activating 状态,需等集群初始化完成后才会变成 active
root@ubuntu2404:~# systemctl enable kubelet --now
第四部分:Kubernetes 高可用集群构建实战
4.1 镜像预拉取
在初始化之前,提前拉取镜像可以避免因网络波动导致 kubeadm init 超时失败。
bash
# 使用 kubeadm 工具拉取核心组件镜像
# --kubernetes-version: 指定集群版本
# --image-repository: 指定拉取镜像的仓库地址(国内使用私有仓库或阿里云)
root@master30:~# kubeadm config images pull --kubernetes-version=v1.30.2 --image-repository registry.aliyuncs.com/google_containers
4.2 核心初始化:kubeadm init
这是整个集群构建的高光时刻。在 Master 节点执行:
bash
# 执行集群初始化
# --kubernetes-version: 集群版本
# --pod-network-cidr: 指定 Pod 网络的 CIDR 范围(必须与后续网络插件配置一致)
# --image-repository: 镜像仓库地址
root@master30:~# kubeadm init --kubernetes-version=v1.30.2 --pod-network-cidr=10.224.0.0/16 --image-repository registry.aliyuncs.com/google_containers
输出解读 :
初始化成功后,终端会输出重要的凭据和加入节点命令。
text
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.1.8.30:6443 --token mi0yt8.1tzza4q64dr8y3pc \
--discovery-token-ca-cert-hash sha256:5606e09618330aee8859abe3ea4cd8734f9b540630048a6e1c3aaf6c54d486fd
4.3 凭据配置与排障
kubectl 默认去 ~/.kube/config 寻找配置。为了让 root 用户能使用 kubectl,必须复制配置文件。
bash
root@master30:~# mkdir -p $HOME/.kube
# -i 选项表示如果目标文件存在,则进行交互式询问是否覆盖。
root@master30:~# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# 验证节点(此时状态应为 NotReady,因为还没装网络插件)
root@master30:~# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master30.laoma.cloud NotReady control-plane 5m v1.30.2
4.4 部署 Calico 网络插件
Pod 之间要通信,必须要有 CNI 插件。这里选用生产级别的 Calico。
bash
# 1. 下载 Calico 的 YAML 部署清单
root@master30:~# wget --no-check-certificate https://raw.githubusercontent.com/projectcalico/calico/v3.30.7/manifests/calico.yaml
# 2. 修改清单中的 Pod 网络 CIDR(必须与 kubeadm init 中的一致)
# 使用 sed 取消注释并替换 IP 地址
root@master30:~# sed -i "s|# - name: CALICO_IPV4POOL_CIDR|- name: CALICO_IPV4POOL_CIDR|g" calico.yaml
root@master30:~# sed -i "s|# value: \"192.*| value: \"10.224.0.0/16\"|g" calico.yaml
# 3. 检查需要拉取的镜像(确保所有节点都有该镜像,避免拉取超时)
root@master30:~# grep image: calico.yaml | uniq
image: docker.io/calico/cni:v3.30.7
image: docker.io/calico/node:v3.30.7
image: docker.io/calico/kube-controllers:v3.30.7
# 所有节点预先拉取上述镜像
root@all-node:~# nerdctl pull docker.io/calico/cni:v3.30.7
root@all-node:~# nerdctl pull docker.io/calico/node:v3.30.7
root@all-node:~# nerdctl pull docker.io/calico/kube-controllers:v3.30.7
# 4. 应用部署清单
# -f 选项表示指定 YAML 文件
root@master30:~# kubectl apply -f calico.yaml
# 5. 等待几分钟,观察 Pod 状态
root@master30:~# kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-56fcbf9d6b-v6qsn 1/1 Running 0 28m
kube-system calico-node-vc9v6 1/1 Running 0 28m
kube-system coredns-6d8c4cb4d-9qdxg 1/1 Running 0 43m
kube-system coredns-6d8c4cb4d-wwfmx 1/1 Running 0 43m
...
如果网络插件部署成功,Master 节点的状态会自动从 NotReady 变为 Ready。
4.5 Worker 节点加入集群
在 worker31 和 worker32 上执行刚才初始化日志中打印的 kubeadm join 命令。
bash
root@worker31:~# kubeadm join 10.1.8.30:6443 --token mi0yt8.1tzza4q64dr8y3pc \
--discovery-token-ca-cert-hash sha256:5606e09618330aee8859abe3ea4cd8734f9b540630048a6e1c3aaf6c54d486fd
如果 token 过期,可以在 Master 节点重新生成:
bash
root@master30:~# kubeadm token create --print-join-command
4.6 集群最终验证
bash
# 1. 查看节点状态
root@master30:~# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master30.laoma.cloud Ready control-plane 9h v1.30.2
worker31.laoma.cloud Ready <none> 8h v1.30.2
worker32.laoma.cloud Ready <none> 8h v1.30.2
# 2. 查看集群信息
root@master30:~# kubectl cluster-info
Kubernetes control plane is running at https://10.1.8.30:6443
CoreDNS is running at https://10.1.8.30:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
至此,一个生产级别的 Kubernetes 1.30.2 三节点集群正式搭建完成。
补充:关于 Docker 常用选项的实战体会(对比说明)
虽然今天的主题是 K8s,但在日常排障中,我们依然会结合 Docker 或相关容器命令进行验证。正如我们经常使用的这个指令:
bash
[root@docker ~]# docker container run -it --rm --name web -v /web centos:8 /bin/bash
选项深度解析:
-i(interactive):保持标准输入(STDIN)打开,允许我们与容器交互。-t(tty):分配一个伪终端,让我们能在终端里输入命令并看到反馈。--rm:容器退出时自动删除容器。这在做临时测试时非常有用,避免产生大量无用的僵尸容器。--name web:为容器指定一个固定的名称,而不是系统随机生成的(如happy_einstein)。-v /web:关键点 ,在容器内创建数据卷并挂载到/web目录。因为容器销毁后数据会丢失,通过挂载卷或主机目录,可以实现数据持久化。centos:8和/bin/bash:分别指定基础镜像和容器启动时执行的命令。
在 K8s 的世界里,虽然不再直接使用 docker run,但这种通过参数精细控制资源生命周期、网络、存储的思想,在 Kubernetes 的 YAML 声明式配置中(如 volumes 和 volumeMounts)得到了完美的继承和升华。
总结与感悟
回顾今天的内容,从琐碎的操作系统配置到 Kubernetes 集群的整体构建,这是一条极具挑战的路径。
实战中的三大坑点:
- Ubuntu 网络配置:Netplan 的 YAML 格式对空格极其敏感,一个缩进错误就会导致网络断裂。
- 容器运行时配置 :
containerd的SystemdCgroup必须改为true;镜像加速必须同时处理 CRI 接口(crictl)和 Native 接口(nerdctl),否则你会陷入"镜像明明在,但就是拉不到"的绝望。 - Pod 网络 CIDR 一致性 :在
kubeadm init时指定的--pod-network-cidr必须与 Calico 插件配置中的CALICO_IPV4POOL_CIDR完全一致,否则节点会一直处于NotReady状态。
从底层 OS 的内核参数调优,到容器运行时的适配,再到 K8s 组件的启动,整个流程环环相扣。这种复杂度的背后,正是云原生技术能够支撑起百万级微服务集群的底气所在。后续,我们将在 K8s 这个强大的底座上,去实操 Pod、Deployment、Service 的编排与管理,彻底进入云原生的深水区。