IDEA2025版本使用Big Data Tools连接Linux上Hadoop的HDFS

目录

Windows的准备

[1. 将与Linux上版本相同的hadoop压缩包解压到本地](#1. 将与Linux上版本相同的hadoop压缩包解压到本地)

[​编辑2.设置HADOOP HOME环境变量指向:E:\\hadoop-3.3.4](#编辑2.设置HADOOP HOME环境变量指向:E:\hadoop-3.3.4)

3.下载hadoop.dll和winutils.exe文件

[4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中](#4.将hadoop.dll和winutils.exe放入HADOOP HOME/bin中)

IDEA中操作

[1.下载Big Data Tools插件](#1.下载Big Data Tools插件)

2.添加并连接HDFS


Windows的准备

1. 将与Linux上版本相同的hadoop压缩包解压到本地

如解压到E:\Hadoop。

2.设置$HADOOP HOME环境变量指向:E:\hadoop-3.3.4

打开此电脑的属性

找到环境变量,进入环境变量,点击进入系统变量,编辑,添加

复制代码
HADOOP_HOME
​​​​​​​E:\Hadoop\hadoop-3.3.4

点击确定,确定,确定!!!

确保环境变量配置正确,如下图。

3.下载hadoop.dll和winutils.exe文件

下载路径如下:

4.将hadoop.dll和winutils.exe放入$HADOOP HOME/bin中

IDEA中操作

1.下载Big Data Tools插件

确保 IDEA 版本与 Big Data Tools 兼容, 本文以IntelliJ IDEA 2025.1.1.1为例

2.添加并连接HDFS

安装好之后, 右侧边栏会出现Big Data Tools的选项框。

点击选项框, 在左上角的 + 中选择添加HDFS

​​​​​​​

然后进行如下操作:

  • 在红框内填入Linux服务器地址或者虚拟机的IP地址
  • 在黄框内填入Linux中使用hadoop的用户

然后点击测试链接,成功会显示已连接,然后点击确定,如下图。

至此,IDEA成功连接Hadoop的HDFS。

相关推荐
天河归来1 天前
第三方接口不稳定,如何让核心任务继续完成
java·大数据
GlobalInfo1 天前
2026年全球机器人用超平执行器市场研究报告:市场规模达7.51亿美元,人形机器人商业化与轻量化运动控制需求推动行业增长
大数据·人工智能·数码相机·microsoft·机器人
IT古董1 天前
《Agent开发工程师成长指南》- 第4章 第2节:Prompt设计五要素——任务、角色、上下文、约束与输出格式
大数据·人工智能·prompt
Allen_LVyingbo1 天前
NVIDIA CUDA Tile 在医疗计算中的算子形式化、算法重构与内核实现
大数据·python·算法·重构·知识图谱·健康医疗·数据库架构
全栈陈序员1 天前
【Git】从入门到精通(一)—— Git简介:什么是版本控制系统
大数据·git·elasticsearch
中国搜索直付通1 天前
分账系统有风险吗?资金安全怎么保障?
大数据·支付通道·分账系统·分账支付
一枕槐安4871 天前
微调 vs Prompt:业务场景下两种方案成本 & 效果对比
大数据·人工智能·prompt·混合架构·推理成本·行为固化·知识边界
SelectDB1 天前
Apache Doris 与 SelectDB 是什么关系?从开源技术到面向 Agent 的极速分析数据库
大数据·数据库·数据分析
科技新资讯1 天前
AI如何批量处理Excel文件? 从数据合并、清洗到自动生成报表,看看 AI Agent 怎么完成任务
大数据·人工智能·excel
SelectDB1 天前
存算分离冷查询提速 7.5 倍!Apache Doris 4.2 Peer Read 实现跨计算组缓存复用
大数据·数据库·数据分析