使用k8s helm离线部署spark-operator（私有仓库）

冯·诺依曼2023-09-12 11:42

制作镜像

bash 复制代码

docker pull ghcr.io/googlecloudplatform/spark-operator:v1beta2-1.3.8-3.1.1
docker images
docker save ImageID > ./spark.tar

将制作的镜像上传到目的机器中，加载镜像

bash 复制代码

docker load < ./spark.tar

bash 复制代码

docker tag imgaeID xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

将制作好的镜像推到私有仓库中

bash 复制代码

docker push xxxx.xxx/xx/spark-operator:v1beta2-1.3.8-3.1.1

Github地址：

bash 复制代码

https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/releases/download/spark-operator-chart-1.1.27/spark-operator-1.1.27.tgz

下载上传到机器中

解压spark-operator-1.1.27.tgz，修改values.yaml内容，修改副本数量为3、镜像源、利用伪亲和性使得三个副本在三台机器上。

修改Chart.yaml文件

打包压缩：

bash 复制代码

tar -zcvf spark.tgz spark-operator

使用helm部署spark

bash 复制代码

helm install 名称 ./spark.tgz -n 命名空间

升级

bash 复制代码

helm upgrade 名称 ./spark.tgz -f spark-operator/values.yaml -n 命名空间

卸载

bash 复制代码

helm uninstall 名称 -n 命名空间

查看部署情况

bash 复制代码

kubectl get pods -n 命名空间 | grep 名称