华为昇腾910B上用Kubernetes（K8s）部署LLM和用Docker部署LLM的区别
在昇腾910B（Ascend 910B）硬件平台上部署大语言模型（LLM），使用 Kubernetes（K8s）与仅使用 Docker 是两种不同层级的部署方式。它们在架构、资源管理、扩展性、运维复杂度等方面存在显著差异。以下是 不少于20 条 的详细对比列表，特别结合昇腾910B平台特性：
1. 抽象层级不同
- Docker：容器运行时，用于打包和运行单个应用实例。
- K8s：容器编排系统，管理多个容器实例及其生命周期。
2. 部署粒度
- Docker：适合单机或少量节点部署。
- K8s：面向多节点集群，支持跨主机调度。
3. 资源调度能力
- Docker：无内置调度器，需手动分配NPU资源。
- K8s：通过 Device Plugin（如 Ascend Device Plugin）自动调度昇腾910B NPU资源。
4. 自动扩缩容（Auto Scaling ）
- Docker：无法自动扩缩容，需人工干预。
- K8s：支持 Horizontal Pod Autoscaler（HPA），根据负载动态调整实例数。
5. 高可用性（HA ）
- Docker：单点故障风险高，无自动恢复机制。
- K8s：Pod 崩溃后可自动重建，保障服务连续性。
6. 服务发现与负载均衡
- Docker：需手动配置网络或使用 Docker Compose。
- K8s：内置 Service 和 Ingress，提供 DNS 解析和负载均衡。
7. 滚动更新与回滚
- Docker：需脚本实现，操作复杂且易出错。
- K8s：Deployment 支持滚动更新和一键回滚。
8. 日志与监控集成
- Docker：日志分散，需额外工具收集（如 Fluentd）。
- K8s：天然集成 Prometheus、Grafana、EFK 等监控栈。
9. 昇腾NPU 驱动依赖
- Docker：需在宿主机预装 CANN 驱动，并挂载设备（/dev/davinci*）。
- K8s：通过 Device Plugin 自动暴露 NPU 资源，简化容器访问。
10. 多租户隔离
- Docker：隔离性弱，资源共享冲突风险高。
- K8s：支持 Namespace、Resource Quota、LimitRange 实现多租户隔离。
11. 存储管理
- Docker：依赖本地卷或 bind mount，迁移困难。
- K8s：支持 PersistentVolume（PV）和 PersistentVolumeClaim（PVC），适配分布式存储（如 Ceph、OBS）。
12. 网络模型
- Docker：默认 bridge 网络，跨主机通信需 overlay 网络（如 Macvlan）。
- K8s：CNI 插件（如 Calico、Flannel）提供统一网络策略。
13. 部署复杂度
- Docker：简单快速，适合开发测试。
- K8s：初始配置复杂，但适合生产环境。
14. 故障自愈能力
- Docker：容器退出后不会自动重启（除非 --restart=always）。
- K8s：健康检查（Liveness/Readiness Probe）触发自动重启或迁移。
15. 资源利用率
- Docker：静态分配，易造成资源浪费。
- K8s：动态调度，提升昇腾910B NPU 利用率。
16. 安全性
- Docker：需手动配置安全策略（如 seccomp、AppArmor）。
- K8s：支持 PodSecurityPolicy（PSP）或 SecurityContext 强化安全。
17. CI/CD 集成
- Docker：需自建流水线。
- K8s：与 Argo CD、Flux 等 GitOps 工具无缝集成。
18. 多模型部署
- Docker：每个模型需独立容器，管理繁琐。
- K8s：通过 Helm Chart 或 Kustomize 批量部署多个 LLM 服务。
19. 昇腾生态工具链支持
- Docker：可直接运行 MindSpore/vLLM-Ascend 镜像。
- K8s：需额外配置 Ascend Operator 或自定义 CRD 管理 NPU 任务。
20. 成本与维护
- Docker：运维成本低，但扩展性差。
- K8s：初期投入高，长期降低大规模部署的 TCO（总拥有成本）。
21. 调试与日志追踪
- Docker：日志分散在各容器，需 docker logs 逐个查看。
- K8s：集中日志系统（如 Loki）+ 分布式追踪（Jaeger）支持。
22. 异构计算支持
- Docker：需手动指定设备（--device=/dev/davinci0）。
- K8s：通过资源请求（ascend.huawei.com/npu: 1）声明式分配。
总结建议
- 开发/测试阶段：优先使用 Docker 快速验证模型在昇腾910B上的兼容性。
- 生产/大规模推理：必须采用 K8s，以实现高可用、弹性伸缩和精细化资源管理。
注：昇腾910B 的 CANN 驱动和 MindSpore/vLLM-Ascend 镜像需与部署方式适配，K8s 需额外部署 Ascend Device Plugin。