Hadoop-004-Big Data Tools插件的使用

一、Big Data Tools插件配置流程

1、安装Big Data Tools插件

以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA

2、Windows系统基础配置

Windows系统需要做一些基础设置,配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下

java 复制代码
设置$HADOOP_HOME环境变量指向:D:\Develop\hadoop-3.2.4

下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下

hadoop.dll

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

3、配置环境变量

然后再配置下环境变量

4、连接测试正常

5、操作文件

相关推荐
YMY哈41 分钟前
Spark 4.0 重磅升级:湖仓处理性能再突破
大数据
小江的记录本43 分钟前
【分布式】分布式核心组件——分布式锁:Redis/ZooKeeper/etcd 实现方案(附全方位对比表)、优缺点、Redlock、时钟回拨问题
java·网络·redis·分布式·后端·zookeeper·架构
好家伙VCC44 分钟前
**发散创新:用Rust实现基于RAFT共识算法的轻量级分布式日志系统**在分布式系统中,**一致性协议**是保障数据可靠
java·分布式·python·rust·共识算法
小江的记录本1 小时前
【分布式】分布式核心组件——分布式ID生成:雪花算法、号段模式、美团Leaf、百度UidGenerator、时钟回拨解决方案
分布式·后端·算法·缓存·性能优化·架构·系统架构
南棱笑笑生2 小时前
20260420给万象奥科的开发板HD-RK3576-PI适配瑞芯微原厂的Buildroot时调通AP6256并实测网速109Mbits/sec
大数据·elasticsearch·搜索引擎·rockchip
Elastic 中国社区官方博客7 小时前
Elasticsearch:使用 Agent Builder 的 A2A 实现 - 开发者的圣诞颂歌
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
历程里程碑8 小时前
2. Git版本回退全攻略:轻松掌握代码时光机
大数据·c++·git·elasticsearch·搜索引擎·github·全文检索
面向Google编程8 小时前
从零学习Kafka:ZooKeeper vs KRaft
大数据·kafka
热爱专研AI的学妹9 小时前
Seedance 2.0(即梦 2.0)深度解析:AI 视频正式迈入导演级精准可控时代
大数据·人工智能·阿里云·音视频
切糕师学AI10 小时前
HBase:一文搞懂分布式宽列数据库(原理 + 架构 + 实战)
数据库·分布式·nosql·hbase·分布式宽列数据库·wide column db