k8s部署hadoop

(作者:陈玓玏)

配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

先通过以下命令生成yaml文件:

clike 复制代码
helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:

比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点:

部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。

相关推荐
MickeyCV4 小时前
使用Docker部署MySQL&Redis容器与常见命令
redis·mysql·docker·容器·wsl·镜像
藥瓿亭6 小时前
K8S认证|CKS题库+答案| 6. 创建 Secret
运维·ubuntu·docker·云原生·容器·kubernetes·cks
2302_809798326 小时前
【JavaWeb】Docker项目部署
java·运维·后端·青少年编程·docker·容器
嵌入式大圣6 小时前
Neko虚拟浏览器远程协作方案:Docker+内网穿透技术部署实践
运维·docker·容器
孔令飞6 小时前
Kubernetes 节点自动伸缩(Cluster Autoscaler)原理与实践
ai·云原生·容器·golang·kubernetes
Theodore_10227 小时前
大数据(2) 大数据处理架构Hadoop
大数据·服务器·hadoop·分布式·ubuntu·架构
簌簌曌8 小时前
CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践
大数据·hadoop·spark
极简网络科技8 小时前
Docker、Wsl 打包迁移环境
运维·docker·容器
江湖有缘8 小时前
【Docker管理工具】部署Docker可视化管理面板Dpanel
运维·docker·容器
Theodore_102210 小时前
大数据(1) 大数据概述
大数据·hadoop·数据分析·spark·hbase