使用k8s helm离线部署spark-operator(私有仓库)

制作镜像

bash 复制代码
docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中,加载镜像

bash 复制代码
docker load < ./spark.tar

打标签其中xxxx.xxx/xx/为私有仓库的地址

bash 复制代码
docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码
docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

下载spark-operator和部署

Github地址:

bash 复制代码
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz,修改values.yaml内容,修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩:

bash 复制代码
tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码
helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码
helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码
helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码
kubectl get pods -n 命名空间 | grep 名称
相关推荐
华农DrLai7 小时前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
weixin_404679317 小时前
docker部署ollama
运维·docker·容器
uesowys16 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
金刚猿17 小时前
01_虚拟机中间件部署_root 用户安装 docker 容器,配置非root用户权限
docker·中间件·容器
JH_Kong17 小时前
解决 WSL 中 Docker 权限问题:从踩坑到完整修复
docker·容器
陈桴浮海19 小时前
Kustomize实战:从0到1实现K8s多环境配置管理与资源部署
云原生·容器·kubernetes
张小凡vip20 小时前
Kubernetes--k8s中部署redis数据库服务
redis·kubernetes
Hello.Reader20 小时前
Flink Kubernetes HA(高可用)实战原理、前置条件、配置项与数据保留机制
贪心算法·flink·kubernetes
ShiLiu_mtx1 天前
k8s - 7
云原生·容器·kubernetes
鹏说大数据1 天前
Spark 和 Hive 的关系与区别
大数据·hive·spark