使用k8s helm离线部署spark-operator(私有仓库)

制作镜像

bash 复制代码
docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中,加载镜像

bash 复制代码
docker load < ./spark.tar

打标签其中xxxx.xxx/xx/为私有仓库的地址

bash 复制代码
docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码
docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

下载spark-operator和部署

Github地址:

bash 复制代码
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz,修改values.yaml内容,修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩:

bash 复制代码
tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码
helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码
helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码
helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码
kubectl get pods -n 命名空间 | grep 名称
相关推荐
高旭博15 分钟前
7. kubernetes资源——service服务
云原生·容器·kubernetes
斯普信专业组1 小时前
Docker 常用命令与时区配置指南
docker·容器·eureka
Qayrup15 小时前
docker 搭建私有仓库,推送并拉取
运维·docker·容器
筑梦之人15 小时前
Spark-3.5.7文档3 - Spark SQL、DataFrame 和 Dataset 指南
spark
筑梦之人17 小时前
Spark-3.5.7文档4 - Structured Streaming 编程指南
spark
黑黍17 小时前
如何在k8s中配置并使用nvidia显卡
云原生·容器·kubernetes
Q264336502317 小时前
【有源码】基于Hadoop+Spark的起点小说网大数据可视化分析系统-基于Python大数据生态的网络文学数据挖掘与可视化系统
大数据·hadoop·python·信息可视化·数据分析·spark·毕业设计
冷血~多好18 小时前
使用docker部署elk,实现日志追踪
elk·docker·容器
会飞的小蛮猪18 小时前
SkyWalking运维之路(Java探针接入)
java·运维·经验分享·容器·skywalking
天一生水water19 小时前
docker-compose安装
运维·docker·容器