windows的hadoop集群环境直接配

已经配好资源如下:

https://download.csdn.net/download/hashiqimiya/92754521https://download.csdn.net/download/hashiqimiya/92754521

修改 core-site.xml 配置文件 :

  • 找到文件: G:\1\hadoo2.6.4的hadoop.dll和winutils.exe\em\hadoop-2.6.4\hadoop-2.6.4\etc\hadoop\core-site.xml

  • 修改 fs.defaultFS 参数为HDFS格式

    fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir E:/hadooptmp/hadoop-${user.name}
  • 修改 hdfs-site.xml 配置文件 :

  • 找到文件: G:\1\hadoo2.6.4的hadoop.dll和winutils.exe\em\hadoop-2.6.4\hadoop-2.6.4\etc\hadoop\hdfs-site.xml

  • 添加或修改副本数配置

  • 正确的hdfs-site.xml配置示例 :

    dfs.replication 1 dfs.namenode.name.dir file:///${hadoop.tmp.dir}/dfs/name dfs.datanode.data.dir file:///${hadoop.tmp.dir}/dfs/data

重新格式化NameNode :

  • 执行命令: hadoop.cmd namenode -format

  • 然后重新启动Hadoop服务

将hadoo2.6.4的hadoop.dll和winutils.exe.zip文件解压覆盖hadoop的bin。

注意hadoop2.6.4兼容jdk8.不兼容jdk17.

相关推荐
库库的数据库笔记35 分钟前
国产信创数据库的MySQL兼容性深度对比解析
大数据·数据库·mysql·oceanbase·政务
Elastic 中国社区官方博客2 小时前
我们如何通过 70 多个拉取请求,将 OpenTelemetry Java agent 迁移到 invokedynamic
java·大数据·开发语言·elasticsearch·搜索引擎·全文检索·es
珠海西格电力3 小时前
零碳园区管理系统的性能评估体系的行业标准
大数据·网络·人工智能·物联网·机器学习·架构·能源
杨先生哦4 小时前
SOC告警研判实战:海量告警降噪、误报甄别、内网风险处置全流程(上岗必用)
大数据
一线数智4 小时前
朱鹰:人的判断力,比算力更重要
大数据·人工智能
用户3610588626124 小时前
Flink ResourceManager启动流程源码深度剖析:从ClusterEntrypoint到Slot分配的完整链路
大数据
用户3610588626125 小时前
Flink ApplicationMaster启动流程源码深度剖析:从YARN提交到JobMaster启动的完整链路
大数据·flink
初心未改HD6 小时前
DSH Skill开发实战:SKILL.md是给LLM看的操作手册,不是给人看的README,踩了4个坑
java·大数据·开发语言
程序 代码狂人6 小时前
据仓库常见表类型详解(面试完整版,金融数仓适用)
大数据
阿里云大数据AI技术6 小时前
云栖实录|Hologres 5.0全新发布:Agent Native 的全模态实时数仓
大数据·人工智能·agent