配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop
先通过以下命令生成yaml文件:
clike
helm template hadoop pfisterer-hadoop/hadoop > hadoop.yaml
用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:
比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml
k8sdashboard中可以看到3个dn节点:
部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。