IDEA2025版本使用Big Data Tools连接Linux上Hadoop的HDFS

目录

Windows的准备

[1. 将与Linux上版本相同的hadoop压缩包解压到本地](#1. 将与Linux上版本相同的hadoop压缩包解压到本地)

[​编辑2.设置HADOOP HOME环境变量指向:E:\\hadoop-3.3.4](#编辑2.设置HADOOP HOME环境变量指向:E:\hadoop-3.3.4)

3.下载hadoop.dll和winutils.exe文件

[4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中](#4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中)

IDEA中操作

[1.下载Big Data Tools插件](#1.下载Big Data Tools插件)

2.添加并连接HDFS


Windows的准备

1. 将与Linux上版本相同的hadoop压缩包解压到本地

如解压到E:\Hadoop。

2.设置$HADOOP HOME环境变量指向:E:\hadoop-3.3.4

打开此电脑的属性

找到环境变量,进入环境变量,点击进入系统变量,编辑,添加

复制代码
HADOOP_HOME
​​​​​​​E:\Hadoop\hadoop-3.3.4

点击确定,确定,确定!!!

确保环境变量配置正确,如下图。

3.下载hadoop.dll和winutils.exe文件

下载路径如下:

4.将hadoop.dll和winutils.exe放入$HADOOP HOME/bin中

IDEA中操作

1.下载Big Data Tools插件

确保 IDEA 版本与 Big Data Tools 兼容, 本文以IntelliJ IDEA 2025.1.1.1为例

2.添加并连接HDFS

安装好之后, 右侧边栏会出现Big Data Tools的选项框。

点击选项框, 在左上角的 + 中选择添加HDFS

​​​​​​​

然后进行如下操作:

  • 在红框内填入Linux服务器地址或者虚拟机的IP地址
  • 在黄框内填入Linux中使用hadoop的用户

然后点击测试链接,成功会显示已连接,然后点击确定,如下图。

至此,IDEA成功连接Hadoop的HDFS。

相关推荐
元拓数智2 小时前
IntaLink:破解数仓建设痛点,重塑高效建设新范式
大数据·数据仓库·人工智能·数据关系·intalink
区块链小八歌2 小时前
从电商收入到链上资产:Liquid Royalty在 Berachain 重塑 RWA 想象力
大数据·人工智能·区块链
沃达德软件2 小时前
大数据反诈平台功能解析
大数据·人工智能
音视频牛哥2 小时前
AI时代底层技术链:GPU、云原生与大模型的协同进化全解析
大数据·云原生·kubernetes·音视频·transformer·gpu算力·云原生cloud native
howard20053 小时前
实训云上搭建大数据集群
大数据·大数据集群·实训云
大模型服务器厂商3 小时前
人形机器人的技术概况与算力支撑背景
大数据·人工智能
第二只羽毛3 小时前
主题爬虫采集主题新闻信息
大数据·爬虫·python·网络爬虫
清平乐的技术专栏4 小时前
hive中with as用法及注意事项
数据仓库·hive·hadoop
Elastic 中国社区官方博客4 小时前
ES|QL 在 9.2:智能查找连接和时间序列支持
大数据·数据库·人工智能·sql·elasticsearch·搜索引擎·全文检索