使用k8s helm离线部署spark-operator(私有仓库)

制作镜像

bash 复制代码
docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中,加载镜像

bash 复制代码
docker load < ./spark.tar

打标签其中xxxx.xxx/xx/为私有仓库的地址

bash 复制代码
docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码
docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

下载spark-operator和部署

Github地址:

bash 复制代码
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz,修改values.yaml内容,修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩:

bash 复制代码
tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码
helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码
helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码
helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码
kubectl get pods -n 命名空间 | grep 名称
相关推荐
syty20202 小时前
K8s是什么
容器·kubernetes·dubbo
IT研究室2 小时前
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
XueminXu3 小时前
Spark提交任务的资源配置和优化
spark·并行度·spark-submit·driver-memory·num-executors·executor-memory·executor-cores
Leo.yuan3 小时前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
灵犀物润5 小时前
Kubernetes 配置检查与发布安全清单
安全·容器·kubernetes
小朋友,你是否有很多问号?5 小时前
spark11-sparkSQL 实现wordcount
spark
360智汇云5 小时前
k8s交互桥梁:走进Client-Go
golang·kubernetes·交互
xy_recording5 小时前
Day20 K8S学习
学习·容器·kubernetes
衍余未了6 小时前
k8s 内置的containerd配置阿里云个人镜像地址及认证
java·阿里云·kubernetes
九章云极AladdinEdu6 小时前
Kubernetes设备插件开发实战:实现GPU拓扑感知调度
人工智能·机器学习·云原生·容器·kubernetes·迁移学习·gpu算力