Hadoop的安装

文章目录

  • [一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。](#一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。)
  • [二. 环境变量](#二. 环境变量)
  • [三. 配置](#三. 配置)

一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。

随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd

set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.

更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。

修改:core-sit.xml

xml 复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml

配置namenode和datanode的存放位置,可以自定义

xml 复制代码
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///C:/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

xml 复制代码
<configuration>   
  <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

xml 复制代码
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

相关推荐
TDengine (老段)1 分钟前
TDengine 数学函数 LOG 用户手册
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
TDengine (老段)8 分钟前
TDengine 数据函数 MOD 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
在未来等你1 小时前
Kafka面试精讲 Day 25:Kafka与大数据生态集成
大数据·分布式·面试·kafka·消息队列
一品威客爱开发1 小时前
APP 开发抉择:定制服务与模板套用如何选?
大数据
武子康2 小时前
大数据-134 ClickHouse 单机+集群节点落地手册 | 安装配置 | systemd 管理 / config.d
大数据·分布式·后端
通往曙光的路上2 小时前
day17_cookie_webstorage
数据仓库·hive·hadoop
AORO20253 小时前
北斗短报文终端是什么?有什么功能?你能用到吗?
大数据·网络·5g·智能手机·信息与通信
格林威3 小时前
常规点光源在工业视觉检测上的应用
大数据·人工智能·数码相机·计算机视觉·视觉检测·制造·视觉光源
爱思德学术4 小时前
EI会议:第三届大数据、计算智能与应用国际会议(BDCIA 2025)
大数据·机器学习·数据可视化·计算智能
菜鸡儿齐4 小时前
spark组件-spark sql-读取数据
大数据·sql·spark