Kubernetes 十周年:从 Cloud Native 到 AI Native 的架构范式跃迁
!封面(https://picsum.photos/seed/17860938704168/800/400)
2026 年 7 月,CNCF 正式宣告 Kubernetes 迎来十周年里程碑。十年前的"容器编排工具",如今正经历一场比容器化本身更深刻的范式跃迁------从"跑微服务的平台"进化为"AI 基础设施的核心底座"。KubeCon 2026 的主题词,已经从 Cloud Native 悄然变成了 AI Native。
一、十年:从 Borg 开源到 1560 万开发者
2014 年,Google 将内部集群管理系统 Borg 的开源版本 Kubernetes 捐赠给 CNCF。彼时很少有人能预料,这个项目会成为云原生时代的事实标准。
CNCF 最新《State of Cloud Native Development Q1 2026》报告显示:全球云原生开发者数量已突破 1560 万,超过 78% 的企业在生产环境使用容器技术。Kubernetes 完成了从"可选项"到"默认项"的转变------新业务默认上 K8s,存量业务加速容器化改造。
但 2026 年最值得关注的不是这些增长数字,而是 Kubernetes 正在回答一个新的问题:当 AI 成为企业的核心负载,基础设施应该如何重构?
二、范式跃迁:AI 工作负载为什么"不兼容"传统 K8s
传统云原生架构面向的是无状态、松耦合、可水平扩展的微服务;而 AI 工作负载有三个截然不同的特征:
-
GPU 是稀缺的、不可分割的资源:一张 A100/H100 价值数万元,调度粒度从"容器"细化到"算力碎片",需要 binpacking(装箱)、抢占、显存感知等高级调度能力。
-
训练任务是有状态、长时运行、强通信的:分布式训练动辄运行数天,节点间需要 RDMA 高速互联,对网络拓扑敏感,失败后还要断点续训。
-
推理与 Agent 是突发性、弹性极强的:大模型推理的 QPS 波动剧烈,冷启动时间长,需要更精细的弹性伸缩与预测性扩容。
原生 Kubernetes 的调度器面对这些诉求显得力不从心:它不知道什么是 GPU 显存,不感知 RDMA 拓扑,也不理解 checkpoint 恢复。于是,AI 原生的 Kubernetes 生态开始爆发。
三、GPU 调度:从"节点"到"算力碎片"
以 Volcano 为代表的批量调度器,是 AI 工作负载落地的第一块基石。它引入了 Gang Scheduling(成组调度):一个分布式训练任务的所有 Pod 要么全部调度成功、要么全部等待,避免部分节点空转占着资源。
yaml
apiVersion: scheduling.volcano.sh/v1beta1
kind: Job
metadata:
name: gpt-train-job
spec:
schedulerName: volcano
minAvailable: 8 # 8 个 worker 全部就绪才启动
tasks:
- replicas: 8
name: worker
template:
spec:
containers:
- name: train
image: registry.example.com/llm-trainer:2026.08
resources:
limits:
nvidia.com/gpu: "8" # 每 worker 8 卡
command: ["torchrun", "--nproc_per_node=8", "train.py"]
affinity:
podAntiAffinity: # 尽量打散到不同节点,降低故障域
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
job-name: gpt-train-job
topologyKey: kubernetes.io/hostname
而 GPU 的动态切分与共享,正在成为推理场景的标配。传统 `nvidia.com/gpu` 只能整卡分配,MIG(多实例 GPU)与 vGPU 方案则允许把一张卡切成多个算力单元,配合 Kubernetes Device Plugin 暴露给调度器:
yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: llm-inference
spec:
replicas: 4
template:
spec:
containers:
- name: vllm
image: vllm/vllm-openai:latest
command: ["vllm", "serve", "Qwen3-72B", "--tensor-parallel-size", "2"]
resources:
limits:
nvidia.com/mig-1g.10gb: "1" # 1/7 算力切片
四、Agent 编排:AI 代理就是新型态的微服务
CNCF CTO Chris Aniszczyk 在 KubeCon 上的一句话广为流传:"AI 代理就是新型态的微服务。" 要像当年大规模运行微服务一样运行成千上万个 AI Agent,光有模型不够,还需要状态管理、工具调用、身份认证与可观测性。
Kubernetes 的答案是把 Agent 变成一等公民------通过 CRD(自定义资源)描述 Agent 的生命周期:
yaml
apiVersion: agent.k8s.io/v1
kind: Agent
metadata:
name: code-review-agent
spec:
model: gpt-5.2
memory:
type: vector-db
config:
url: postgresql://agent-memory:5432/agents
tools:
- name: github
type: mcp-server # MCP 协议接入外部工具
config:
url: https://mcp.github.internal/v1
- name: code-analyzer
type: container
image: code-analyzer:latest
triggers:
- type: webhook
config:
events: [pull_request]
autoscaler:
minReplicas: 1
maxReplicas: 20
metric: queue_depth # 按任务队列深度弹性伸缩
配合 MCP(Model Context Protocol)与 A2A(Agent-to-Agent)协议,Agent 之间、Agent 与工具之间实现了标准化互通。平台工程师的职责也从"管理 Pod"变成了"治理 Agent 网格"------这正是 CNCF 正在推动的 Kubernetes AI Conformance Program 试图标准化的东西:在加速器、网络、安全、调度、可观测性、算子六个维度定义 AI 基础设施的统一合规基线。
五、模型即镜像:用 OCI 标准封装 AI
另一个重要趋势是用 OCI 镜像封装大模型。模型与代码一样,存在版本、依赖、安全扫描、签名验证的需求。将模型权重与推理运行时一起打进标准容器镜像,就能复用整个云原生交付链路------registry 存储、镜像签名、漏洞扫描、渐进式发布。
dockerfile
# 模型服务镜像:权重 + 运行时 + 依赖一次打包
FROM nvcr.io/nvidia/pytorch:26.07-py3 AS runtime
# 安装推理框架
RUN pip install vllm==0.14 transformers==5.2
# 将模型权重作为镜像层固化(支持 registry 级缓存与分发)
COPY ./models/Qwen3-72B-Instruct/ /models/Qwen3-72B-Instruct/
EXPOSE 8000
ENTRYPOINT ["vllm", "serve", "/models/Qwen3-72B-Instruct", "--port", "8000"]
构建完成后,走标准的 `docker push` 到 OCI Registry,再通过 ArgoCD / Flux 做 GitOps 发布。模型上线从此拥有了与代码发布同等的可追溯性、可回滚性与安全审计能力。
六、平台工程:AI 时代的"造路者"
当 AI 工作负载成为主流,**平台工程(Platform Engineering)**的地位被进一步抬高。平台团队不再只是"提高开发速度",还要在四者之间取得平衡:
• **开发速度**:提供标准化的模型部署模板、AI 开发环境即开即用;
• **成本优化**:GPU 是全球最贵的 IT 资产,混部调度、空闲回收、spot 实例弹性补充成为降本关键;
• **治理合规**:模型权限、数据出境、Agent 行为审计,都需要平台层统一管控;
• **可靠性**:训练任务自动容错、断点续训、推理服务自动扩缩。
Forrester 首席分析师 Brent Ellis 在 KubeCon 现场观察到:云原生社区正努力把原本为"松散耦合微服务"设计的 K8s,改造成适配"大规模、紧密耦合"AI 工作负载的底座。这中间有大量的工程红利,也有大量的坑。
七、给工程师的建议
面对这轮范式跃迁,后端/运维/平台工程师 2026 年最值得投入的方向有三个:
-
吃透 AI 工作负载调度:GPU 调度、Volcano/Kueue 队列、显存感知调度,这些是 AI 原生 K8s 的核心能力;
-
掌握 Agent 工程化:从调用模型 API 升级到编排 Agent 生命周期------MCP 工具接入、记忆持久化、Agent 可观测性(trace 每一个工具调用与 token 消耗);
-
建立成本意识:学会用 K8s 原生的 FinOps 手段(HPA/Cluster Autoscaler、混部、spot 池)把 GPU 账单打下来。
八、总结
Kubernetes 的十年,是从"容器编排"到"AI 基础设施"的十年。2026 年的 Kubernetes 早已不是简单的"跑容器的平台",而是 AI Agent 的运行底座、模型训练的资源调度器、推理服务的弹性引擎。
如果说 Cloud Native 解决的是"软件如何弹性运行",那么 AI Native 要解决的是"智能如何规模化生产"。这场迁移刚刚开始------Kubernetes 的下一个十年,将是 AI Native 的十年。你,准备好了吗?
参考资料:CNCF《State of Cloud Native Development Q1 2026》、KubeCon 2026 主题演讲、CNCF Kubernetes AI Conformance Program 相关公开资料。