云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践

云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践

在经历了 Ceph 分布式存储的打磨之后,我们终于来到了云原生技术的绝对核心------Kubernetes (K8s)。如果说 Docker 是单兵作战的利器,那么 K8s 就是统领千军万马的指挥中枢。在真实的生产环境中,我们不仅需要 K8s 来管理海量的容器,还需要一套极度标准化的底层操作系统来支撑它。

今天的笔记将涵盖从 K8s 架构理论、Ubuntu 24.04 基础系统调优、容器运行时(containerd)配置,一直到利用 kubeadm 自动化构建 K8s 高可用集群的全流程。内容极其硬核,涉及大量底层排障与核心指令参数拆解,建议大家当作生产环境部署手册来查阅。


第一部分:Kubernetes 架构与核心原理解析

1.1 应用部署的演进过程

企业应用部署经历了三个时代:

  1. 传统部署:应用直接跑在物理机上,资源无法隔离,一个应用 OOM 可能拖垮整台服务器。
  2. 虚拟化部署:通过 KVM/VMware 实现硬件级别的资源隔离,安全性高,但每个虚拟机都需要运行完整的操作系统,资源开销极大。
  3. 容器化部署:共享宿主机操作系统内核,秒级启动,轻量且可移植。

1.2 K8s 的核心特性

K8s 并非一个传统的 PaaS 平台,它不限制语言、框架,也不提供数据库中间件,它只做一件事:管理容器化应用。

  • 自我修复:当容器崩溃或节点宕机时,自动重启或在其他节点重新拉起 Pod。
  • 服务发现与负载均衡:通过 Service 为一组 Pod 提供统一的 DNS 名称和负载均衡。
  • 存储编排:自动挂载本地存储、公有云存储或 Ceph 等网络存储。
  • 自动扩缩容:根据 CPU 或内存使用情况自动调整 Pod 数量。

1.3 架构组件全景图

  • Master 控制平面 :
    • kube-apiserver:集群的唯一入口,接收所有 REST 请求。
    • kube-scheduler:负责按照调度算法(亲和性、资源等)将 Pod 分配到合适的 Node。
    • kube-controller-manager:维护集群状态,例如副本数控制、节点故障检测等。
    • etcd:一致性哈希键值数据库,保存集群的所有状态数据。
  • Worker 节点 :
    • kubelet:节点上的"小管家",负责与 API Server 通信,管理容器的生命周期。
    • kube-proxy:负责维护节点的网络规则(如 iptables/IPVS),实现 Service 的负载均衡。
    • Container Runtime:真正运行容器的引擎(如 containerd、CRI-O)。

第二部分:Ubuntu 24.04 系统标准化与排障

K8s 对底层系统极其挑剔。本次选用 Ubuntu 24.04 作为底层 OS,安装时需注意:不要配置 swap 分区 (K8s 要求禁用交换内存以保障性能),分区建议 /boot 给 2G,/ 给 90G。

2.1 软件包管理与排障

Ubuntu 采用 Debian 的软件包管理体系(dpkg 与 apt),在生产环境中,熟练使用这些命令是基础。

指令 1:配置国内镜像源

为了加快软件下载速度,必须替换默认的官方源。

bash 复制代码
# 备份原有源文件(好习惯)
root@ubuntu2404:~# cp /etc/apt/sources.list.d/ubuntu.sources /etc/apt/sources.list.d/ubuntu.sources.bak

# 使用 cat 和 heredoc 写入新的源配置
# Types: 软件包类型(deb为二进制)
# URIs: 镜像地址
# Suites: 版本代号
root@ubuntu2404:~# cat > /etc/apt/sources.list.d/ubuntu.sources <<'EOF'
Types: deb
URIs: http://mirrors.huaweicloud.com/ubuntu/
Suites: noble noble-updates noble-backports
Components: main restricted universe multiverse
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
EOF

指令 2:深度解析 apt 与 dpkg 常用指令

这里需要重点拆解命令行参数。例如,我们经常执行的安装命令:

bash 复制代码
# -y 的作用:自动回答 yes,避免交互式安装导致的卡顿
root@ubuntu2404:~# apt install -y vim lrzsz bash-completion

选项解析:

  • apt update:刷新本地软件包索引。注意:这不会升级软件,只是获取仓库最新包清单。
  • apt install -y:-y(或 --assume-yes)表示自动确认所有提示,这在自动化脚本中极其重要。
  • dpkg -i package.deb:-i 代表 install,用于安装本地 .deb 包,但它不解决依赖关系,需配合 apt install -f 修复依赖。
  • dpkg -L package:-L(list files)列出该包安装的所有文件清单。
  • dpkg -S /bin/ls:-S(search)反向查询某个文件属于哪个软件包。

2.2 Netplan 网络配置

Ubuntu 24.04 使用 Netplan 来管理网络,它本质上是 systemd-networkd 或 NetworkManager 的前端工具。

bash 复制代码
# 1. 备份默认配置
root@ubuntu2404:~# mkdir /etc/netplan/origin
root@ubuntu2404:~# mv /etc/netplan/*yaml /etc/netplan/origin

# 2. 编写静态 IP 配置
# 注意 YAML 格式极其严格,严禁使用 Tab 键,只能用空格缩进。
root@ubuntu2404:~# cat > /etc/netplan/00-static.yaml <<EOF
network:
  ethernets:
    ens32:
      dhcp4: no
      addresses:
        - 10.1.8.30/24
      routes:
        - to: default
          via: 10.1.8.2
      nameservers:
        addresses:
          - 10.1.8.2
          - 223.5.5.5
  version: 2
EOF

# 3. 设置安全权限
# Netplan 出于安全考虑,要求配置文件权限不能过大
root@ubuntu2404:~# chmod 600 /etc/netplan/00-static.yaml

# 4. 应用配置
root@ubuntu2404:~# netplan apply

第三部分:K8s 集群的前置环境调优

在这一阶段,我们需要配置内核参数、加载模块并准备容器运行时。任何一个环节遗漏,都可能导致集群初始化失败。

3.1 内核模块与参数调优

K8s 的流量转发高度依赖 IPVS 和 iptables 桥接,必须显式开启这些内核模块。

bash 复制代码
# 1. 临时加载模块(立即生效)
# modprobe 用于加载内核模块
root@ubuntu2404:~# modprobe overlay
root@ubuntu2404:~# modprobe br_netfilter
root@ubuntu2404:~# modprobe ip_vs
root@ubuntu2404:~# modprobe ip_vs_rr
root@ubuntu2404:~# modprobe ip_vs_wrr
root@ubuntu2404:~# modprobe ip_vs_lc
root@ubuntu2404:~# modprobe ip_vs_sh
root@ubuntu2404:~# modprobe nf_conntrack

# 2. 永久加载模块(重启生效)
root@ubuntu2404:~# cat > /etc/modules-load.d/k8s-net.conf << EOF
br_netfilter
overlay
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_lc
ip_vs_sh
nf_conntrack
EOF

# 3. 配置内核网络参数
# cat 将以下配置写入文件
root@ubuntu2404:~# cat > /etc/sysctl.d/k8s.conf << 'EOF'
net.bridge.bridge-nf-call-iptables=1  
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
EOF

# 4. 使内核参数立即生效
# -p 参数表示从指定文件加载配置,替代直接修改 /etc/sysctl.conf
root@ubuntu2404:~# sysctl -p /etc/sysctl.d/k8s.conf

3.2 容器运行时:Containerd 与镜像加速实战

Kubernetes 1.24 之后彻底移除了对 Docker 的直接支持,转而使用实现了 CRI(容器运行时接口)的 containerd。

指令 1:安装并初始化 Containerd

bash 复制代码
# 安装 containerd 和 crictl (CRI 命令行工具)
root@ubuntu2404:~# apt-get install -y containerd.io=1.7.20-1 cri-tools

# 生成默认配置文件
# 注意重定向符号 > 会覆盖原有文件
root@ubuntu2404:~# containerd config default > /etc/containerd/config.toml

# 修改 cgroup 驱动为 Systemd
# 如果不改,会导致 kubelet 启动失败或节点 NotReady
root@ubuntu2404:~# sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml

# 替换 Pause 镜像地址(因为官方 registry.k8s.io 国内被墙)
root@ubuntu2404:~# sed -i 's|sandbox_image = ".*"|sandbox_image = "registry.k8s.io/pause:3.9"|' /etc/containerd/config.toml

指令 2:配置镜像加速(极其容易踩坑)

在生产环境中,我们经常遇到一种诡异现象:用 crictl 能拉取镜像,但用 nerdctl 却拉取不到,反之亦然。原因在于:

  • crictl 走的是 CRI 接口,读取 /etc/containerd/config.toml 中的 registry.mirrors。
  • nerdctl 走的是 containerd 原生 API,不读 CRI 配置,而是读 /etc/containerd/certs.d/。
bash 复制代码
# 1. 修改 containerd 配置文件(针对 CRI)
# 使用 vim 打开后,手工在对应节点下添加,注意 YAML 缩进
root@ubuntu2404:~# vim /etc/containerd/config.toml

# 找到 [plugins."io.containerd.grpc.v1.cri".registry.mirrors] 加入:
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
  endpoint = ["http://hub.laoma.cloud","https://docker.m.daocloud.io"]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]
  endpoint = ["https://k8s.m.daocloud.io"]

# 重启服务
root@ubuntu2404:~# systemctl restart containerd.service

# 2. 为 nerdctl 配置独立的 hosts.toml(针对 Native API)
root@ubuntu2404:~# mkdir -p /etc/containerd/certs.d/docker.io
root@ubuntu2404:~# cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://registry-1.docker.io"

[host."https://docker.m.daocloud.io"]
  capabilities = ["pull", "resolve"]
EOF

# 3. 验证拉取
# 注意:nerdctl 默认命名空间为 default,而 k8s 用 k8s.io。
# 如果需要在 nerdctl 中看到 k8s 的镜像,需设置环境变量:
root@ubuntu2404:~# export CONTAINERD_NAMESPACE=k8s.io
root@ubuntu2404:~# crictl pull registry.k8s.io/pause:3.9
root@ubuntu2404:~# nerdctl pull docker.io/library/busybox

指令 3:安装 Kubernetes 组件

bash 复制代码
# 安装指定版本的 kubeadm, kubelet, kubectl
root@ubuntu2404:~# apt install -y kubeadm=1.30.2-1.1 kubelet=1.30.2-1.1 kubectl=1.30.2-1.1

# 设置 kubelet 开机自启
# 此时 kubelet 处于 activating 状态,需等集群初始化完成后才会变成 active
root@ubuntu2404:~# systemctl enable kubelet --now

第四部分:Kubernetes 高可用集群构建实战

4.1 镜像预拉取

在初始化之前,提前拉取镜像可以避免因网络波动导致 kubeadm init 超时失败。

bash 复制代码
# 使用 kubeadm 工具拉取核心组件镜像
# --kubernetes-version: 指定集群版本
# --image-repository: 指定拉取镜像的仓库地址(国内使用私有仓库或阿里云)
root@master30:~# kubeadm config images pull --kubernetes-version=v1.30.2 --image-repository registry.aliyuncs.com/google_containers

4.2 核心初始化:kubeadm init

这是整个集群构建的高光时刻。在 Master 节点执行:

bash 复制代码
# 执行集群初始化
# --kubernetes-version: 集群版本
# --pod-network-cidr: 指定 Pod 网络的 CIDR 范围(必须与后续网络插件配置一致)
# --image-repository: 镜像仓库地址
root@master30:~# kubeadm init --kubernetes-version=v1.30.2 --pod-network-cidr=10.224.0.0/16 --image-repository registry.aliyuncs.com/google_containers

输出解读 :

初始化成功后,终端会输出重要的凭据和加入节点命令。

text 复制代码
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:
  export KUBECONFIG=/etc/kubernetes/admin.conf

Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.1.8.30:6443 --token mi0yt8.1tzza4q64dr8y3pc \
    --discovery-token-ca-cert-hash sha256:5606e09618330aee8859abe3ea4cd8734f9b540630048a6e1c3aaf6c54d486fd

4.3 凭据配置与排障

kubectl 默认去 ~/.kube/config 寻找配置。为了让 root 用户能使用 kubectl,必须复制配置文件。

bash 复制代码
root@master30:~# mkdir -p $HOME/.kube

# -i 选项表示如果目标文件存在,则进行交互式询问是否覆盖。
root@master30:~# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

# 验证节点(此时状态应为 NotReady,因为还没装网络插件)
root@master30:~# kubectl get nodes
NAME                  STATUS     ROLES           AGE   VERSION
master30.laoma.cloud  NotReady   control-plane   5m    v1.30.2

4.4 部署 Calico 网络插件

Pod 之间要通信,必须要有 CNI 插件。这里选用生产级别的 Calico。

bash 复制代码
# 1. 下载 Calico 的 YAML 部署清单
root@master30:~# wget --no-check-certificate https://raw.githubusercontent.com/projectcalico/calico/v3.30.7/manifests/calico.yaml

# 2. 修改清单中的 Pod 网络 CIDR(必须与 kubeadm init 中的一致)
# 使用 sed 取消注释并替换 IP 地址
root@master30:~# sed -i "s|# - name: CALICO_IPV4POOL_CIDR|- name: CALICO_IPV4POOL_CIDR|g" calico.yaml
root@master30:~# sed -i "s|#   value: \"192.*|  value: \"10.224.0.0/16\"|g" calico.yaml

# 3. 检查需要拉取的镜像(确保所有节点都有该镜像,避免拉取超时)
root@master30:~# grep image: calico.yaml | uniq
          image: docker.io/calico/cni:v3.30.7
          image: docker.io/calico/node:v3.30.7
          image: docker.io/calico/kube-controllers:v3.30.7

# 所有节点预先拉取上述镜像
root@all-node:~# nerdctl pull docker.io/calico/cni:v3.30.7
root@all-node:~# nerdctl pull docker.io/calico/node:v3.30.7
root@all-node:~# nerdctl pull docker.io/calico/kube-controllers:v3.30.7

# 4. 应用部署清单
# -f 选项表示指定 YAML 文件
root@master30:~# kubectl apply -f calico.yaml

# 5. 等待几分钟,观察 Pod 状态
root@master30:~# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-56fcbf9d6b-v6qsn   1/1     Running   0          28m
kube-system   calico-node-vc9v6                          1/1     Running   0          28m
kube-system   coredns-6d8c4cb4d-9qdxg                    1/1     Running   0          43m
kube-system   coredns-6d8c4cb4d-wwfmx                    1/1     Running   0          43m
...

如果网络插件部署成功,Master 节点的状态会自动从 NotReady 变为 Ready。

4.5 Worker 节点加入集群

在 worker31 和 worker32 上执行刚才初始化日志中打印的 kubeadm join 命令。

bash 复制代码
root@worker31:~# kubeadm join 10.1.8.30:6443 --token mi0yt8.1tzza4q64dr8y3pc \
    --discovery-token-ca-cert-hash sha256:5606e09618330aee8859abe3ea4cd8734f9b540630048a6e1c3aaf6c54d486fd

如果 token 过期,可以在 Master 节点重新生成:

bash 复制代码
root@master30:~# kubeadm token create --print-join-command

4.6 集群最终验证

bash 复制代码
# 1. 查看节点状态
root@master30:~# kubectl get nodes
NAME                  STATUS   ROLES           AGE   VERSION
master30.laoma.cloud  Ready    control-plane   9h    v1.30.2
worker31.laoma.cloud  Ready    <none>          8h    v1.30.2
worker32.laoma.cloud  Ready    <none>          8h    v1.30.2

# 2. 查看集群信息
root@master30:~# kubectl cluster-info
Kubernetes control plane is running at https://10.1.8.30:6443
CoreDNS is running at https://10.1.8.30:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

至此,一个生产级别的 Kubernetes 1.30.2 三节点集群正式搭建完成。


补充:关于 Docker 常用选项的实战体会(对比说明)

虽然今天的主题是 K8s,但在日常排障中,我们依然会结合 Docker 或相关容器命令进行验证。正如我们经常使用的这个指令:

bash 复制代码
[root@docker ~]# docker container run -it --rm --name web -v /web centos:8 /bin/bash

选项深度解析:

  • -i (interactive):保持标准输入(STDIN)打开,允许我们与容器交互。
  • -t (tty):分配一个伪终端,让我们能在终端里输入命令并看到反馈。
  • --rm:容器退出时自动删除容器。这在做临时测试时非常有用,避免产生大量无用的僵尸容器。
  • --name web:为容器指定一个固定的名称,而不是系统随机生成的(如 happy_einstein)。
  • -v /web:关键点 ,在容器内创建数据卷并挂载到 /web 目录。因为容器销毁后数据会丢失,通过挂载卷或主机目录,可以实现数据持久化。
  • centos:8 和 /bin/bash:分别指定基础镜像和容器启动时执行的命令。

在 K8s 的世界里,虽然不再直接使用 docker run,但这种通过参数精细控制资源生命周期、网络、存储的思想,在 Kubernetes 的 YAML 声明式配置中(如 volumes 和 volumeMounts)得到了完美的继承和升华。


总结与感悟

回顾今天的内容,从琐碎的操作系统配置到 Kubernetes 集群的整体构建,这是一条极具挑战的路径。

实战中的三大坑点:

  1. Ubuntu 网络配置:Netplan 的 YAML 格式对空格极其敏感,一个缩进错误就会导致网络断裂。
  2. 容器运行时配置 :containerd 的 SystemdCgroup 必须改为 true;镜像加速必须同时处理 CRI 接口(crictl)和 Native 接口(nerdctl),否则你会陷入"镜像明明在,但就是拉不到"的绝望。
  3. Pod 网络 CIDR 一致性 :在 kubeadm init 时指定的 --pod-network-cidr 必须与 Calico 插件配置中的 CALICO_IPV4POOL_CIDR 完全一致,否则节点会一直处于 NotReady 状态。

从底层 OS 的内核参数调优,到容器运行时的适配,再到 K8s 组件的启动,整个流程环环相扣。这种复杂度的背后,正是云原生技术能够支撑起百万级微服务集群的底气所在。后续,我们将在 K8s 这个强大的底座上,去实操 Pod、Deployment、Service 的编排与管理,彻底进入云原生的深水区。

相关推荐
Century_Dragon11 分钟前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
星恒随风25 分钟前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql
IT大白鼠10 小时前
彭大帅的AI运维助手第 10 篇——K8s 集群探针升级记:从服务级到业务级
运维·kubernetes·aiops·彭大帅
希和202713 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
wflynn14 小时前
GitHub 今日推荐|kiri:clone3 系统调用直达容器,2.5 毫秒启动无 runc 中间层
docker·rust·kubernetes·开源·github·containers
阿里云云原生16 小时前
决策模型 Jev 可以直接上生产?用实验和公式理解 logit 调优与训练要领
云原生
考虑考虑16 小时前
nginx拦截url
运维·后端·nginx
电科_银尘16 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
Sakura_j_h_16 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver