k8s部署hadoop

(作者:陈玓玏)

配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

先通过以下命令生成yaml文件:

clike 复制代码
helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:

比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点:

部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。

相关推荐
styshoo4 小时前
[NVSentinel] metadata-collector模块调研
kubernetes·gpu·ai infra·nvsentinel
ltl7 小时前
Cilium 可观测口径:status、metrics 语义与 bpftool 边界
kubernetes
SCandL1527 小时前
Docker的实战应用
java·docker·容器
Htr_8 小时前
Outcome 核心概念与实战应用指南
大数据·hadoop·apache
qq_21539789711 小时前
docker镜像打包
运维·docker·容器
AAA@峥12 小时前
官方 Dashboard 还是 Kuboard?Kubernetes 可视化管理工具深度对比
云原生·容器·kubernetes
芷栀夏14 小时前
极空间部署Sokoban:Docker搭建网页版推箱子并实现远程访问
运维·docker·容器
InfinitePlus14 小时前
docker redis部署
redis·docker·容器
Pocker_Spades_A15 小时前
极空间安装1Panel:图形化管理Docker应用并部署AList
运维·docker·容器
虎头金猫1 天前
如何在群晖NAS上通过Docker部署CloudSaver?群晖部署CloudSaver教程|聚合资源搜索并实现远程访问
运维·服务器·网络·python·docker·容器·pandas