k8s部署hadoop

(作者:陈玓玏)

配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

先通过以下命令生成yaml文件:

clike 复制代码
helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:

比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点:

部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。

相关推荐
乌托邦的逃亡者5 小时前
Docker的/var/lib/docker/目录占用100%的处理方法
运维·docker·容器
OKUNP9 小时前
Docker高级管理--容器通信技术与数据持久化
docker·容器·php
无级程序员9 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
果子⌂18 小时前
Docker-构建镜像并实现LNMP架构
mysql·nginx·docker·容器·架构·php
无敌糖果18 小时前
K8S数据流核心底层逻辑剖析
docker·容器·kubernetes·k8s架构·底层逻辑·k8s数据流
亲爱的非洲野猪20 小时前
关于k8s Kubernetes的10个面试题
云原生·容器·kubernetes
西京刀客20 小时前
k8s之configmap
云原生·容器·kubernetes
❀͜͡傀儡师1 天前
docker 安装数据集成平台 Apache SeaTunnel 服务
docker·容器
B1nna1 天前
Docker学习
学习·docker·容器
缘友一世1 天前
网安系列【15】之Docker未授权访问漏洞
docker·容器