k8s部署hadoop

(作者:陈玓玏)

配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

先通过以下命令生成yaml文件:

clike 复制代码
helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:

比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点:

部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。

相关推荐
yannan201903131 天前
Docker容器
运维·docker·容器
小宁爱Python1 天前
Windows Docker Desktop占用C盘空间过大解决办法集合
运维·docker·容器
The Sheep 20231 天前
WPF自定义路由事件
大数据·hadoop·wpf
JAVA学习通1 天前
发布自己的 jar 包到 Maven 中央仓库 ( mvnrepository.com )
人工智能·docker·自然语言处理·容器·rocketmq
Cloud孙文波1 天前
探索Apache APISIX:动态高性能API网关
云原生·kubernetes·apisix
木亦汐丫1 天前
Docker 镜像版本Alpine、Slim、Bookworm、Bullseye、Stretch、Jessie
运维·docker·容器·debian·alpine·slim·bullseye
中草药z1 天前
【Docker】零基础上手:原理+Ubuntu/Windows GUI 安装 + 镜像源 / 目录优化
运维·ubuntu·docker·容器·gui·安装·cgroups
勇往直前plus1 天前
如何利用docker部署springboot应用
spring boot·docker·容器
博睿谷IT99_1 天前
Linux 云计算核心技术:原理、组件与 K8s 实战部署
linux·kubernetes·云计算
还是大剑师兰特1 天前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题