Hadoop的安装

文章目录

  • [一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。](#一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。)
  • [二. 环境变量](#二. 环境变量)
  • [三. 配置](#三. 配置)

一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。

随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd

set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.

更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。

修改:core-sit.xml

xml 复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml

配置namenode和datanode的存放位置,可以自定义

xml 复制代码
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///C:/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

xml 复制代码
<configuration>   
  <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
  </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

xml 复制代码
<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

相关推荐
大湾区经济门户网1 小时前
中国移动启动数字乡村“五新升级”:年底前,行政村5G覆盖达95%
大数据·5g·区块链·媒体
郭涤生2 小时前
第十三章:持久化存储_《凤凰架构:构建可靠的大型分布式系统》
笔记·分布式·架构·系统架构
小诸葛的博客3 小时前
es中节点类型有哪些
大数据·elasticsearch·jenkins
随缘而动,随遇而安3 小时前
第四十篇 企业级数据仓库建模深度实践:从理论到落地的维度建模全攻略
大数据·数据库·数据仓库·数据分析·数据库架构
死磕java的孤行者3 小时前
Git 分布式版本控制工具
分布式·git·elasticsearch
郭涤生3 小时前
Chapter 12: The Future of Data Systems_《Designing Data-Intensive Application》
笔记·分布式
老大白菜4 小时前
Python FastAPI + Celery + RabbitMQ 分布式图片水印处理系统
分布式·python·fastapi
信徒_4 小时前
Kafka 中,为什么同一个分区只能由消费者组中的一个消费者消费?
分布式·kafka
2501_911067664 小时前
探秘叁仟智盒设备:智慧城市的智能枢纽
大数据·人工智能·智慧城市
长河5 小时前
Kafka系列教程 - Kafka 流式处理 -7
分布式·kafka