Intelj IDEA 配置Hadoop 远程调试环境

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2

一、设置本地hadoop环境

1、下载hadoop

下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示:

2、配置环境变量

2.1 HADOOP_HOME

配置 HADOOP_HOME 环境变量:

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用户名

设置windows用户,只是能在 Big Data Tools中有权限可视化操作HDFS文件

HDFS 程序操作HDFS时,是根据配置的HADOOP_USER_NAME环境变量中配置的用户操作HDFS的

2.2.2 设置HADOOP_USER_NAME环境变量

HADOOP_USER_NAME 本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限。

或者在Java代码中设置变量:

java 复制代码
System.setProperty("HADOOP_USER_NAME", "song");

优先级:Windows系统变量 > Java环境变量设置

3、winutils

从https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;

二、Intelj IDEA配置

1、安装 Big Data Tools

2、下载 HDFS 客户端配置

解压并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 选择 HDFS
3.2 选择 HDFS 配置路径
3.3 验证

相关推荐
演艺大赏16 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy199020 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏2 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
钱栈up3 天前
IDEA 一天冻死两次:顺着线程 dump 揪出 JRebel,再用 DCEVM 把它替掉
jvm·agent·intellij idea
浮尘笔记13 天前
JetBrains差异设置被自动勾选的排查与根治实录
经验分享·程序人生·编辑器·intellij idea·phpstorm·webstorm
Francek Chen13 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠16 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria17 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN17 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习