IDEA2025版本使用Big Data Tools连接Linux上Hadoop的HDFS

目录

Windows的准备

[1. 将与Linux上版本相同的hadoop压缩包解压到本地](#1. 将与Linux上版本相同的hadoop压缩包解压到本地)

[​编辑2.设置HADOOP HOME环境变量指向:E:\\hadoop-3.3.4](#编辑2.设置HADOOP HOME环境变量指向:E:\hadoop-3.3.4)

3.下载hadoop.dll和winutils.exe文件

[4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中](#4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中)

IDEA中操作

[1.下载Big Data Tools插件](#1.下载Big Data Tools插件)

2.添加并连接HDFS


Windows的准备

1. 将与Linux上版本相同的hadoop压缩包解压到本地

如解压到E:\Hadoop。

2.设置$HADOOP HOME环境变量指向:E:\hadoop-3.3.4

打开此电脑的属性

找到环境变量,进入环境变量,点击进入系统变量,编辑,添加

复制代码
HADOOP_HOME
​​​​​​​E:\Hadoop\hadoop-3.3.4

点击确定,确定,确定!!!

确保环境变量配置正确,如下图。

3.下载hadoop.dll和winutils.exe文件

下载路径如下:

4.将hadoop.dll和winutils.exe放入$HADOOP HOME/bin中

IDEA中操作

1.下载Big Data Tools插件

确保 IDEA 版本与 Big Data Tools 兼容, 本文以IntelliJ IDEA 2025.1.1.1为例

2.添加并连接HDFS

安装好之后, 右侧边栏会出现Big Data Tools的选项框。

点击选项框, 在左上角的 + 中选择添加HDFS

​​​​​​​

然后进行如下操作:

  • 在红框内填入Linux服务器地址或者虚拟机的IP地址
  • 在黄框内填入Linux中使用hadoop的用户

然后点击测试链接,成功会显示已连接,然后点击确定,如下图。

至此,IDEA成功连接Hadoop的HDFS。

相关推荐
Yusei_052310 分钟前
迅速掌握Git通用指令
大数据·git·elasticsearch
一只栖枝6 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
喂完待续11 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
青云交11 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
计艺回忆路12 小时前
从Podman开始一步步构建Hadoop开发集群
hadoop
还是大剑师兰特17 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
一叶飘零_sweeeet18 小时前
IDEA 插件 Trae AI 全攻略
java·人工智能·intellij-idea
1892280486120 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康21 小时前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
CCF_NOI.1 天前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变