Intelj IDEA 配置Hadoop 远程调试环境

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2

一、设置本地hadoop环境

1、下载hadoop

下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示:

2、配置环境变量

2.1 HADOOP_HOME

配置 HADOOP_HOME 环境变量:

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用户名

设置windows用户,只是能在 Big Data Tools中有权限可视化操作HDFS文件

HDFS 程序操作HDFS时,是根据配置的HADOOP_USER_NAME环境变量中配置的用户操作HDFS的

2.2.2 设置HADOOP_USER_NAME环境变量

HADOOP_USER_NAME 本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限

或者在Java代码中设置变量:

java 复制代码
System.setProperty("HADOOP_USER_NAME", "song");

优先级:Windows系统变量 > Java环境变量设置

3、winutils

https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;

二、Intelj IDEA配置

1、安装 Big Data Tools

2、下载 HDFS 客户端配置

解压并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 选择 HDFS
3.2 选择 HDFS 配置路径
3.3 验证

相关推荐
坚持就完事了8 小时前
YARN资源管理器
大数据·linux·hadoop·学习
JAVA面经实录9178 小时前
Java开发工程基础完整手册(企业实战完整版)
java·开发语言·git·ci/cd·svn·github·intellij idea
渣渣盟9 小时前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
WL_Aurora12 小时前
Hadoop 通过 Web 界面上传文件到 HDFS 失败解决方案
hadoop·hdfs
ClouderaHadoop1 天前
CDH 最隐蔽的坑:NTP 时间同步导致的 5 类故障
hadoop·hbase·kerberos·cloudera·cdh
Gent_倪1 天前
Hadoop生态组件介绍
大数据·hadoop
YaBingSec1 天前
玄机网络安全靶场:Hadoop YARN ResourceManager 未授权 RCE WP
大数据·数据库·hadoop·redis·笔记·分布式·web安全
曹牧2 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop
掉头发的王富贵3 天前
如何自己开发一个IDEA插件
后端·intellij idea
菜鸟小码3 天前
HDFS 数据块(Block)机制深度解析:从原理到实战
大数据·hadoop·hdfs