使用k8s helm离线部署spark-operator(私有仓库)

制作镜像

bash 复制代码
docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中,加载镜像

bash 复制代码
docker load < ./spark.tar

打标签其中xxxx.xxx/xx/为私有仓库的地址

bash 复制代码
docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码
docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

下载spark-operator和部署

Github地址:

bash 复制代码
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz,修改values.yaml内容,修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩:

bash 复制代码
tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码
helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码
helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码
helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码
kubectl get pods -n 命名空间 | grep 名称
相关推荐
海鸥817 分钟前
Job 对应的 Pod 运行成功后未被删除 小结
容器·kubernetes
青云交11 分钟前
Java 大视界 -- Java+Spark 构建企业级用户画像平台:从数据采集到标签输出全流程(437)
java·开发语言·spark·hbase 优化·企业级用户画像·标签计算·高并发查询
qq_124987075321 分钟前
基于spark的新闻文本分类系统(源码+论文+部署+安装)
大数据·分类·数据挖掘·spark
Cat God 00723 分钟前
基于Docker搭建kafka集群
docker·容器·kafka
Cat God 00738 分钟前
基于 Docker 部署 Kafka(KRaft + SASL/PLAIN 认证)
docker·容器·kafka
源图客1 小时前
Nacos3.1.1部署(Docker)
运维·docker·容器
从零开始学习人工智能1 小时前
《8076 能通 9003 却超时?一次 Docker 容器跨网段排障小记》
运维·docker·容器
运维栈记13 小时前
如何排错运行在Kubernetes集群中的服务?
云原生·容器·kubernetes
yumgpkpm16 小时前
Iceberg在Cloudera CDP集群详细操作步骤
大数据·人工智能·hive·zookeeper·spark·开源·cloudera
木卫二号Coding16 小时前
affine+docker+postgresql+备份数据库
数据库·docker·容器