Hadoop的安装

文章目录

  • [一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。](#一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。)
  • [二. 环境变量](#二. 环境变量)
  • [三. 配置](#三. 配置)

一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。

随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd

set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.

更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。

修改:core-sit.xml

xml 复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml

配置namenode和datanode的存放位置,可以自定义

xml 复制代码
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///C:/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

xml 复制代码
<configuration>   
  <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

xml 复制代码
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

相关推荐
Elastic 中国社区官方博客1 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata2 小时前
从Apache Atlas到Aloudata BIG,数据血缘解析有何改变?
大数据·apache·数据血缘·主动元数据·数据链路
不能再留遗憾了2 小时前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
茶馆大橘2 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
材料苦逼不会梦到计算机白富美5 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
拓端研究室TRL5 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗5 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
想进大厂的小王5 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情5 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存