Hadoop-004-Big Data Tools插件的使用

一、Big Data Tools插件配置流程

1、安装Big Data Tools插件

以IntelliJ IDEA 2024.2.3为例打开setting, 搜索安装Big Data Tools插件后重启IDEA

2、Windows系统基础配置

Windows系统需要做一些基础设置,配合插件使用,将之前下载的hadoop-3.2.4.tar.gz 解压到D:\Develop 目录下

java 复制代码
设置$HADOOP_HOME环境变量指向:D:\Develop\hadoop-3.2.4

下载这两个文件放到 D:\Develop\hadoop-3.2.4\bin 下

hadoop.dll

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe

java 复制代码
https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

3、配置环境变量

然后再配置下环境变量

4、连接测试正常

5、操作文件

相关推荐
找不到、了15 分钟前
Spring Boot 分布式定时任务:从单机到高可用集群
spring boot·分布式·后端
Lisonseekpan15 分钟前
雪花算法(Snowflake)技术详解与实战应用
java·分布式·后端·算法
跨境卫士—小依40 分钟前
构筑测评安全壁垒!速卖通自养号全链路防护,合规起量双保险
大数据·安全·跨境电商·防关联
此生只爱蛋2 小时前
【Redis】服务端高并发分布式结构演进之路
数据库·redis·分布式
熊猫钓鱼>_>3 小时前
数据处理的艺术:从Kafka到实时流处理平台的技术深度剖析
分布式·flink·kafka·数据治理·状态管理·管道·数据工程师
喝养乐多长不高4 小时前
RabbitMQ:应用问题
分布式·rabbitmq
SelectDB5 小时前
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
大数据·数据库·数据分析
全知科技5 小时前
AI赋能数据分类分级,迈向智能化数据治理
大数据·人工智能
Macbethad5 小时前
使用WPF编写一个多维度伺服系统的程序
大数据·hadoop·wpf
青云交5 小时前
Java 大视界 -- Java 大数据机器学习模型在电商用户画像构建与精准营销中的应用
java·大数据·机器学习·电商·协同过滤·用户画像·精准营销