IDEA2025版本使用Big Data Tools连接Linux上Hadoop的HDFS

目录

Windows的准备

[1. 将与Linux上版本相同的hadoop压缩包解压到本地](#1. 将与Linux上版本相同的hadoop压缩包解压到本地)

[​编辑2.设置HADOOP HOME环境变量指向:E:\\hadoop-3.3.4](#编辑2.设置HADOOP HOME环境变量指向:E:\hadoop-3.3.4)

3.下载hadoop.dll和winutils.exe文件

[4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中](#4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中)

IDEA中操作

[1.下载Big Data Tools插件](#1.下载Big Data Tools插件)

2.添加并连接HDFS


Windows的准备

1. 将与Linux上版本相同的hadoop压缩包解压到本地

如解压到E:\Hadoop。

2.设置$HADOOP HOME环境变量指向:E:\hadoop-3.3.4

打开此电脑的属性

找到环境变量,进入环境变量,点击进入系统变量,编辑,添加

复制代码
HADOOP_HOME
​​​​​​​E:\Hadoop\hadoop-3.3.4

点击确定,确定,确定!!!

确保环境变量配置正确,如下图。

3.下载hadoop.dll和winutils.exe文件

下载路径如下:

4.将hadoop.dll和winutils.exe放入$HADOOP HOME/bin中

IDEA中操作

1.下载Big Data Tools插件

确保 IDEA 版本与 Big Data Tools 兼容, 本文以IntelliJ IDEA 2025.1.1.1为例

2.添加并连接HDFS

安装好之后, 右侧边栏会出现Big Data Tools的选项框。

点击选项框, 在左上角的 + 中选择添加HDFS

​​​​​​​

然后进行如下操作:

  • 在红框内填入Linux服务器地址或者虚拟机的IP地址
  • 在黄框内填入Linux中使用hadoop的用户

然后点击测试链接,成功会显示已连接,然后点击确定,如下图。

至此,IDEA成功连接Hadoop的HDFS。

相关推荐
Elastic 中国社区官方博客9 分钟前
日志根因分析:Elastic Observability 的异常检测与日志分类功能
大数据·人工智能·elasticsearch·搜索引擎·分类·数据挖掘·全文检索
wuli玉shell1 小时前
spark-shuffle 类型及其对比
大数据·分布式·spark
LiRuiJie1 小时前
深度解析 HDFS与Hive的关系
hive·hadoop·hdfs
zhixingheyi_tian1 小时前
Spark 之 SparkPlanInfo
大数据·分布式·spark
Elastic 中国社区官方博客1 小时前
将嵌入映射到 Elasticsearch 字段类型:semantic_text、dense_vector、sparse_vector
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
小叶爱吃鱼2 小时前
python-数据可视化(大数据、数据分析、可视化图像、HTML页面)
大数据·python·信息可视化·数据分析
北漂老男孩3 小时前
Spark Core基础与源码剖析全景手册
大数据·分布式·spark
INFINI Labs3 小时前
ES 调优帖:关于索引合并参数 index.merge.policy.deletePctAllowed 的取值优化
大数据·elasticsearch·搜索引擎
杨超越luckly4 小时前
HTML应用指南:利用POST请求获取全国申通快递服务网点位置信息
大数据·前端·信息可视化·数据分析·html
拓端研究室4 小时前
2025年医美行业报告60+份汇总解读 | 附 PDF 下载
大数据·人工智能