使用k8s helm离线部署spark-operator(私有仓库)

制作镜像

bash 复制代码
docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中,加载镜像

bash 复制代码
docker load < ./spark.tar

打标签其中xxxx.xxx/xx/为私有仓库的地址

bash 复制代码
docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码
docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

下载spark-operator和部署

Github地址:

bash 复制代码
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz,修改values.yaml内容,修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩:

bash 复制代码
tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码
helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码
helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码
helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码
kubectl get pods -n 命名空间 | grep 名称
相关推荐
莹雨潇潇3 分钟前
Docker 快速入门(Ubuntu版)
java·前端·docker·容器
weixin_453965001 小时前
[单master节点k8s部署]30.ceph分布式存储(一)
分布式·ceph·kubernetes
weixin_453965001 小时前
[单master节点k8s部署]32.ceph分布式存储(三)
分布式·ceph·kubernetes
tangdou3690986551 小时前
1分钟搞懂K8S中的NodeSelector
云原生·容器·kubernetes
tangdou3690986554 小时前
Docker系列-5种方案超详细讲解docker数据存储持久化(volume,bind mounts,NFS等)
docker·容器
later_rql4 小时前
k8s-集群部署1
云原生·容器·kubernetes
weixin_453965006 小时前
[单master节点k8s部署]31.ceph分布式存储(二)
分布式·ceph·kubernetes
大G哥9 小时前
记一次K8S 环境应用nginx stable-alpine 解析内部域名失败排查思路
运维·nginx·云原生·容器·kubernetes
妍妍的宝贝9 小时前
k8s 中微服务之 MetailLB 搭配 ingress-nginx 实现七层负载
nginx·微服务·kubernetes
大道归简10 小时前
Docker 命令从入门到入门:从 Windows 到容器的完美类比
windows·docker·容器