Windows运行Spark所需的Hadoop安装

解压文件

复制bin目录

找到winutils-master文件hadoop对应的bin目录版本

全部复制替换掉hadoop的bin目录文件

复制hadoop.dll文件

将bin目录下的hadoop.dll文件复制到System32目录下

配置环境变量

修改hadoop-env.cmd配置文件

注意jdk装在非C盘则完全没问题,如果装在C盘则需要用路径替代符:\PROGRA~1\

如 :C:\PROGRA~1\Java\jdk1.8.0_162

测试安装成功

在cmd中查看安装成功

相关推荐
wudl556614 分钟前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
华东数交19 分钟前
企业与国有数据资产:入表全流程管理及资产化闭环理论解析
大数据·人工智能
B站_计算机毕业设计之家6 小时前
计算机毕业设计:Python农业数据可视化分析系统 气象数据 农业生产 粮食数据 播种数据 爬虫 Django框架 天气数据 降水量(源码+文档)✅
大数据·爬虫·python·机器学习·信息可视化·课程设计·农业
Apache Flink8 小时前
Flink Agents 0.1.0 发布公告
大数据·flink
潘达斯奈基~9 小时前
在使用spark的applyInPandas方法过程中,遇到类型冲突问题如何解决
大数据·笔记
火星资讯10 小时前
腾多多数字零售模式:从成本转嫁到全生态共赢的破局实践
大数据
望获linux11 小时前
【实时Linux实战系列】实时 Linux 的自动化基准测试框架
java·大数据·linux·运维·网络·elasticsearch·搜索引擎
金宗汉11 小时前
《宇宙递归拓扑学:基于自指性与拓扑流形的无限逼近模型》
大数据·人工智能·笔记·算法·观察者模式
直有两条腿12 小时前
【数据迁移】HBase Bulkload批量加载原理
大数据·数据库·hbase
Joy T12 小时前
海南蓝碳:生态财富与科技驱动的新未来
大数据·人工智能·红树林·海南省·生态区建设