k8s部署hadoop

小白白白又白cdllp2024-03-16 15:24

（作者：陈玓玏）

先通过以下命令生成yaml文件：

clike 复制代码

helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令，通过这个yaml文件直接部署hadoop，配置想改的可以自己改，默认的配置仓库中有写：

比如我想要3个datanode而不是1个，就把dn-statefulset的replicas改为3，保存后直接部署，部署命令：kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点：

部署之后，进入namenode的pod，就可以执行hdfs命令了，如hdfs dfs -ls，hdfs dfs -touch等等。