Intelj IDEA 配置Hadoop 远程调试环境

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2

一、设置本地hadoop环境

1、下载hadoop

下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示:

2、配置环境变量

2.1 HADOOP_HOME

配置 HADOOP_HOME 环境变量:

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用户名

设置windows用户,只是能在 Big Data Tools中有权限可视化操作HDFS文件

HDFS 程序操作HDFS时,是根据配置的HADOOP_USER_NAME环境变量中配置的用户操作HDFS的

2.2.2 设置HADOOP_USER_NAME环境变量

HADOOP_USER_NAME 本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限

或者在Java代码中设置变量:

java 复制代码
System.setProperty("HADOOP_USER_NAME", "song");

优先级:Windows系统变量 > Java环境变量设置

3、winutils

https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;

二、Intelj IDEA配置

1、安装 Big Data Tools

2、下载 HDFS 客户端配置

解压并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 选择 HDFS
3.2 选择 HDFS 配置路径
3.3 验证

相关推荐
无级程序员10 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
舒一笑12 小时前
PandaCoder重大产品更新-引入Jenkinsfile文件支持
后端·程序员·intellij idea
ApeAssistant3 天前
IntelliJ IDEA 控制台颜色消失问题及解决方案
intellij idea
王小王-1233 天前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
爱吃面的猫3 天前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Edingbrugh.南空4 天前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
大数据CLUB5 天前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空5 天前
Hadoop高可用集群搭建
大数据·hadoop·分布式
无级程序员6 天前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
王小王-1237 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车