Kubernetes运行大数据组件-运行spark

在Kubernetes上运行Spark作业,你需要创建一个Spark的部署和相应的Kubernetes资源。以下是一个简化的例子,展示了如何使用Kubernetes部署Spark Driver和Executor。

首先,确保你有一个运行中的Kubernetes集群,并且kubectl 命令行工具已经配置好可以与集群通信。

创建Spark的配置 ConfigMap:

apiVersion: v1

kind: ConfigMap

metadata:

name: spark-config

data:

spark-defaults.conf: |

spark.kubernetes.driver.pod.name=spark-driver-pod

spark.kubernetes.executor.pod.namespace=default

...

创建Spark Driver的部署:

apiVersion: apps/v1

kind: Deployment

metadata:

name: spark-driver

spec:

replicas: 1

template:

metadata:

labels:

component: spark

node: driver

spec:

containers:

  • name: spark-kubernetes-driver

image: gcr.io/spark-operator/spark-driver:v2.4.5

command: ["/bin/spark-submit"]

args: [

"--master", "k8s",

"--deploy-mode", "cluster",

"--name", "spark-job",

"--class", "org.apache.spark.examples.SparkPi",

"--conf", "spark.kubernetes.driver.pod.name=spark-driver-pod",

...

"local:///path/to/your/spark/job.jar"

]

env:

  • name: SPARK_CONF_DIR

value: "/opt/spark/conf"

volumeMounts:

  • name: spark-config-volume

mountPath: /opt/spark/conf

volumes:

  • name: spark-config-volume

configMap:

name: spark-config

创建Spark Executor的部署:

apiVersion: apps/v1

kind: Deployment

metadata:

name: spark-executors

spec:

replicas: 2

template:

metadata:

labels:

component: spark

node: executor

spec:

containers:

  • name: spark-kubernetes-executor

image: gcr.io/spark-operator/spark-executor:v2.4.5

env:

  • name: SPARK_K8S_EXECUTOR_POD_NAME

valueFrom:

fieldRef:

fieldPath: metadata.name

  • name: SPARK_CONF_DIR

value: "/opt/spark/conf"

volumeMounts:

  • name: spark-config-volume

mountPath: /opt/spark/conf

volumes:

  • name: spark-config-volume

configMap:

name: spark-config

确保替换以上配置中的镜像版本和Spark作业的jar路径以及参数。这些YAML文件定义了Spark作业在Kubernetes上的基本部署,包括配置、驱动器和执行器的部署。

要运行这些部署,只需将这些YAML文件应用到你的Kubernetes集群:

kubectl apply -f spark-config.yaml

kubectl apply -f spark-driver.yaml

kubectl apply -f spark-executors.yaml

这将启动一个Spark作业,其中包括一个Driver和多个Executor。Kubernetes将负责调度和管理这些容器的生命周期。

相关推荐
Gold Steps.3 小时前
K8S周期性备份etcd数据实战案例
云原生·kubernetes·数据安全·etcd
宸津-代码粉碎机3 小时前
LLM 模型部署难题的技术突破:从轻量化到分布式推理的全栈解决方案
java·大数据·人工智能·分布式·python
❀͜͡傀儡师3 小时前
Kubernetes (K8s) 部署Doris
云原生·容器·kubernetes
NeRF_er9 小时前
STORM代码阅读笔记
大数据·笔记·storm
TDengine (老段)13 小时前
TDengine 中 TDgp 中添加机器学习模型
大数据·数据库·算法·机器学习·数据分析·时序数据库·tdengine
陈陈CHENCHEN14 小时前
【Kubernetes】集群环境下的应用部署案例
kubernetes
希艾席帝恩15 小时前
拥抱智慧物流时代:数字孪生技术的应用与前景
大数据·人工智能·低代码·数字化转型·业务系统
Bar_artist15 小时前
离线智能破局,架构创新突围:RockAI与中国AI的“另一条车道”
大数据·人工智能
爱吃芝麻汤圆16 小时前
k8s之NDS解析到Ingress服务暴露
容器·kubernetes
牛客企业服务16 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别