JDK21+HADOOP3.2.2+Windows安装步骤

哈哈哈 最近转战大数据这块了,分享一下hadoop3.2.2的安装步骤

借鉴了不少大佬的文章,如有雷同,都是大佬们的

1.JDK安装

我选择的是JDK21 以下是下载网址和截图,这个没有太多的,一般下载最新的就可以

JDK: Java Downloads | Oracle

我安装的是windows下 x64install

下载到本地后,双击进行安装,并根据向导进行下一步

注意:**文件安装路径一定要 没有空格!**我第一次安装就是有空格,失败了好几次

2.配置JDK的PATH文件

安装好后配置PATH文件

此电脑右键属性,找到"高级系统设置"- "环境变量"

新建"JAVA-HOME"和 JDK21的安装地址

双击Path 进入增加 JAVA-HOME的bin文件地址,注意:用英文;隔开

3.验证Java是否安装成功

搜索中输入CMD,找到命令提示符,双击运行

输入"java -version",如果出现 java版本则安装成功

4.安装Hadoop

进入Hadoop官网

Hadoop: https://hadoop.apache.org/releases.html

因为需要在windows上运行,所以需要从Github下载

windows下使用hadoop需要的工具 winutils.exe 和 hadoop.dll

我下载的是3.2.2版本

这边找了CSDN上大佬分享的地址

安装包下载地址:3.2.2

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

下载windows下使用hadoop需要的工具winutils.exe和hadoop.dll:

https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin

双击安装包进行解压

如无法解压,"以管理员身份"运行解压即可,解压到想安装的位置

进入解压文件的bin文件,复制或替换windows下使用的两个文件

替换好后创建DATA文件夹和文件夹中多个子文件如图

5.更改hadoop下etc文件中的配置

修改core-site.xml(根据你的实际安装地址)

复制代码
<configuration>
	<property>
	    <name>fs.default.name</name>
	  <value>hdfs://localhost:9000</value>
	 </property>
	 <property>
	  <name>hadoop.tmp.dir</name>
	  <value>/D:/hadoop-3.2.2/data/tmp</value>
	 </property>
</configuration>

修改mapred-site.xml (根据你的实际安装地址)

复制代码
<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

修改yarn-site.xml(根据你的实际安装地址)

复制代码
<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

</configuration>

修改hdfs-site.xml(根据你的实际安装地址)

复制代码
<configuration>
   <!-- hadoop -->
   <property>
	   <name>dfs.replication</name>
	   <value>1</value>
   </property>
   	<property> 
        <name>dfs.permissions</name> 
        <value>false</value> 
     </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/D:/hadoop-3.2.2/data/namenode</value>
      </property>
      <property>
   		<name>fs.checkpoint.dir</name>
   		<value>/D:/hadoop-3.2.2/data/snn</value>
   	</property>
   	<property>
   		<name>fs.checkpoint.edits.dir</name>
   		<value>/D:/hadoop-3.2.2/data/snn</value>
   	</property>
   	   <property>
          <name>dfs.datanode.data.dir</name>
          <value>/D:/hadoop-3.2.2/data/datanode</value>
      </property>
</configuration>

找到hadoop-env.cmd 配置JDK路径

6.配置HADOOP的PATH文件

配置 PATH文件

新建HADOOP_HOME

在PATH中加入HADOOP地址,注意用英语字符;分隔

7.验证hadoop是否安装成功

验证是否安装成功

以管理员身份打开CMD "命令提示符"

进入bin文件目录

hdfs namenode -format 进入测试

通过CMD,cd 到 sbin 文件下 执行 start-all.cmd

会跳转

此时可以看到同时启动了如下4个服务: Hadoop Namenode Hadoop datanode YARN Resourc Manager YARN Node Manager

此时可以明确安装成功

8、HDFS应用

http://127.0.0.1:8088/ 即可查看集群所有节点状态

访问 http://localhost:9870/ 即可查看文件管理页面

相关推荐
The Sheep 202320 分钟前
WPF自定义路由事件
大数据·hadoop·wpf
Microsoft Word2 小时前
跨平台向量库:Linux & Windows 上一条龙部署 PostgreSQL 向量扩展
linux·windows·postgresql
Wx-bishekaifayuan3 小时前
基于微信小程序的社区图书共享平台设计与实现 计算机毕业设计源码44991
javascript·vue.js·windows·mysql·pycharm·tomcat·php
zhuyasen4 小时前
在某些 Windows 版本,Go 1.25.x 编译出来的 exe 运行报错:此应用无法在你的电脑上运行
windows·go·编译器
还是大剑师兰特9 小时前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题
yumgpkpm9 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
Q264336502310 小时前
大数据实战项目-基于K-Means算法与Spark的豆瓣读书数据分析与可视化系统-基于python的豆瓣读书数据分析与可视化大屏
大数据·hadoop·机器学习·数据分析·spark·毕业设计·kmeans
大数据CLUB12 小时前
基于spark的抖音短视频数据分析及可视化
大数据·hadoop·分布式·数据分析·spark
yumgpkpm12 小时前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
板凳坐着晒太阳12 小时前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop