Windows安装Hadoop运行环境

1、下载Hadoop

2、解压Hadoop

powershell 复制代码
tar zxvf hadoop-3.1.1.tar.gz

3、设置Hadoop环境变量

3.1.1、系统环境变量

powershell 复制代码
# 
HADOOP_HOME = D:\software\hadoop-3.1.1

3.1.2、Path 环境变量

powershell 复制代码
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

3.1.3、修改Hadoop文件JAVA_HOME
注 : 路径中不要出现空格 , 尤其是 Program Files 目录 , 不要把 JDK 安装在这个目录中 , 有大坑 ;

powershell 复制代码
# D:\software\hadoop-3.1.1\etc\hadoop\hadoop-env.cmd

# 将 set JAVA_HOME=%JAVA_HOME% 修改为
set JAVA_HOME=D:\software\Jdk\jdk1.8.0_201

4、安装winutils

4.1、拷贝winutils

注: 将hadoop.dll 和 winutils.exe 文件拷贝到 C:\Windows\System32 目录中

4.2、重启电脑

重启电脑 , 一定要重启 , 否则不生效 。

4.3、验证Hadoop效果

powershell 复制代码
hadoop -version

hadoop

4.4、授权

注: 进入hadoop\bin目录下,以管理员方式打开cmd,输入命令:

powershell 复制代码
winutils.exe chmod 777
相关推荐
武子康21 小时前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB2 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康2 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
IvanCodes2 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
武子康3 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
字节跳动数据平台4 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康4 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台5 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术5 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
阿白的白日梦5 天前
winget基础管理---更新/修改源为国内源
windows