Hadoop-004-Big Data Tools插件的使用

一、Big Data Tools插件配置流程

1、安装Big Data Tools插件

以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA

2、Windows系统基础配置

Windows系统需要做一些基础设置,配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下

java 复制代码
设置$HADOOP_HOME环境变量指向:D:\Develop\hadoop-3.2.4

下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下

hadoop.dll

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

3、配置环境变量

然后再配置下环境变量

4、连接测试正常

5、操作文件

相关推荐
数智启示录2 分钟前
Apache Doris 4.0.8 一致性实战(第 3 篇):Checkpoint 一直成功,Exactly-Once 为什么仍可能是假的
大数据·经验分享·面试·flink
Geeys13 分钟前
京东商家商品推广全攻略
大数据·人工智能
腾讯云大数据19 分钟前
AI Native数据湖的Spark+Ray一体化实践
大数据·人工智能·spark·腾讯云·腾讯云大数据
SelectDB技术团队20 分钟前
StarRocks 适合做日志分析吗?
大数据·数据结构·后端·python·doris·日志分析·starrock
迪飞特科技21 分钟前
分布式事务下 Spring 声明式事务失效的 3 种修复方案
分布式·spring·wpf
数智启示录32 分钟前
Apache Doris 4.0.8 数据建模实战(第 2 篇):同一批订单写进三种模型,为什么得到三个答案
大数据·数据库·面试
数智启示录41 分钟前
Apache Doris 4.0.8 CDC 正确性(第 9 篇):Flink Checkpoint 一直成功,表里为什么仍是旧数据
大数据·数据库·经验分享·面试·flink
Thomas214342 分钟前
flink处理迟到数据
大数据·flink
BI专家之路3 小时前
安装linux/hadoop/jdk/hive
linux·hive·hadoop
IT研究室3 小时前
最新大数据毕业设计选题推荐-基于大数据的电商与本地服务消费评论数据可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·课程设计