k8s部署hadoop

(作者:陈玓玏)

配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop

先通过以下命令生成yaml文件:

clike 复制代码
helm template hadoop pfisterer-hadoop/hadoop  > hadoop.yaml

用kubectl命令,通过这个yaml文件直接部署hadoop,配置想改的可以自己改,默认的配置仓库中有写:

比如我想要3个datanode而不是1个,就把dn-statefulset的replicas改为3,保存后直接部署,部署命令:kubectl apply -f hadoop.yaml

k8sdashboard中可以看到3个dn节点:

部署之后,进入namenode的pod,就可以执行hdfs命令了,如hdfs dfs -ls,hdfs dfs -touch等等。

相关推荐
SRExianxian8 分钟前
kubernetes存储架构之PV controller源码解读
容器·架构·kubernetes
cdg==吃蛋糕2 小时前
docker代理配置
docker·容器·eureka
ether-lin2 小时前
DevOps实战:用Kubernetes和Argo打造自动化CI/CD流程(2)
kubernetes·自动化·devops
web135085886353 小时前
使用docker compose安装gitlab
docker·容器·gitlab
IT机器猫3 小时前
Docker完整技术汇总
运维·docker·容器
董健正3 小时前
Docker安装
docker·容器·docker-compose
筒栗子4 小时前
复习打卡大数据篇——Hadoop HDFS 03
大数据·hadoop·hdfs
coco_1998_24 小时前
nvidia docker, nvidia docker2, nvidia container toolkits区别
docker·容器
vvw&4 小时前
Docker Build 命令详解:在 Ubuntu 上构建 Docker 镜像教程
linux·运维·服务器·ubuntu·docker·容器·开源
是芽芽哩!6 小时前
【Kubernetes 指南】基础入门——Kubernetes 基本概念(二)
云原生·容器·kubernetes