【K8S】基于Job实现一次性任务

容器按照持续运行的时间可分为两类:服务类容器工作类容器

  • 服务类容器:通常持续提供服务,需要一直运行,比如 http server,daemon 等。Kubernetes 的 Deployment、ReplicaSet 和 DaemonSet 都用于管理服务类容器。
  • 工作类容器:一次性任务,比如批处理程序,完成后容器就退出。对于工作类容器,我们用 Job 来实现。

在Kubernetes(K8S)中,要让Pod运行一次并完成一次性任务,可以使用Job资源。Job是Kubernetes中用于运行一次性任务的工作负载API对象。它创建一个或多个Pod,并确保指定数量的Pod成功终止。当Pod成功完成后,Job将跟踪成功完成的情况。当达到指定的成功完成次数时,任务(即Job)就完成了。

以下是如何使用Job来运行一次性任务的步骤:

1. 创建Job资源配置文件

创建一个YAML文件(例如job.yaml),其中包含Job的配置信息。指定apiVersion为batch/v1kind为Job,并定义Job的元数据(metadata)和规格(spec)。

python 复制代码
	apiVersion: batch/v1
	kind: Job
	metadata:
	  name: my-one-time-job
	spec:
	  completions: 1 # 指定需要成功完成的任务数量,默认为1
	  parallelism: 1 # 指定并发运行的任务数量,默认也为1,即一次仅运行一个Pod
	  backoffLimit: 4 # 在Pod重试失败后放弃任务前的最大重试次数,默认为6
	  template:
	    spec:
	      restartPolicy: OnFailure # 对于一次性任务,推荐设置为OnFailure,这样只有任务失败时才会重试
	      containers:
	      - name: my-container
	        image: my-image:latest
	        command: ["./run-my-task.sh"] # 执行脚本或命令,这里假设有一个运行一次性任务的脚本

注意:

  • batch/v1 是当前 Job 的 apiVersion
  • 指明当前资源的类型为 Job
  • restartPolicy 指定什么情况下需要重启容器。对于 Job,只能设置为 Never 或者 OnFailure。对于其他 controller(比如 Deployment)可以设置为 Always 。

2. 应用Job资源配置

来创建Job:

python 复制代码
kubectl apply -f job.yaml

这将创建一个Job资源,Kubernetes将启动一个或多个Pod来执行该Job。

3. 检查Job状态:、

查看Job的状态:

python 复制代码
kubectl get jobs

当Job成功完成时,你将看到类似于COMPLETIONSSUCCESSFUL都为1的状态。

4. 清理

一旦Job成功完成,你可以选择删除Job资源以清理它:

python 复制代码
kubectl delete job my-once-off-job

如果你不希望手动删除Job,也可以设置TTL(Time-To-Live)策略,让Job在一定时间后自动删除。

5. 总结

综上所述,一旦Job创建成功,Kubernetes会根据parallelismcompletions设置创建并运行Pod。当Pod完成任务并退出(正常退出码0)时,Job会被视为已完成。

如果Pod因为某种原因未能成功完成任务(非零退出码),Job控制器将会根据backoffLimit设置重试Pod,直到达到最大重试次数或者任务成功完成。若只需要运行单个Pod完成一次性任务,以上配置即可满足需求。如果需要并行运行多个Pod来加速任务执行,只需适当调整parallelism值即可。

相关推荐
安易算力21 分钟前
昇腾生态开发深度实践:CANN算子库架构解析与MindSpore模型优化
网络·容器·架构·kubernetes·vllm
闲云自留地27 分钟前
不用 docker!containerd 镜像 crctl 命令一把梭
容器
周先生FullStack1 小时前
Mac + 容器本地 MySQL/Redis 环境搭建与网络原理实战
java·spring boot·微服务·容器·架构·个人开发
Dovis(誓平步青云)2 小时前
突破 32 位瓶颈:64 位 XID 如何化解事务号回卷危机
运维·服务器·人工智能·docker·容器
宋均浩2 小时前
告警规则 243 砍到 27:Prometheus 降噪实战,日均打扰 47 次 → 3 次
云原生·监控·devops
闲云自留地3 小时前
nerdctl 实战全解:替代 docker 的 containerd 客户端,镜像 / 容器 / 网络 / 存储 / Namespace 一把抓
容器
运维老郭3 小时前
别再让 Liveness Probe 背锅了:initialDelaySeconds 和 failureThreshold 的坑,一次讲透
云原生
容器魔方3 小时前
基于 KubeEdge 为云边协同 AI 流数据分析提供基础设施
大数据·云原生·容器·开源·边缘计算
weixin_435247066 小时前
微服务开发规范模版
微服务·云原生
九皇叔叔14 小时前
Kubernetes 核心概念:集群架构、核心组件与资源对象
docker·容器·kubernetes·k8s