Intelj IDEA 配置Hadoop 远程调试环境

远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2

一、设置本地hadoop环境

1、下载hadoop

下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\ 并重命名为 hadoop,如下图所示:

2、配置环境变量

2.1 HADOOP_HOME

配置 HADOOP_HOME 环境变量:

2.2 HADOOP_USER_NAME

2.2.1 更改Winows用户名

设置windows用户,只是能在 Big Data Tools中有权限可视化操作HDFS文件

HDFS 程序操作HDFS时,是根据配置的HADOOP_USER_NAME环境变量中配置的用户操作HDFS的

2.2.2 设置HADOOP_USER_NAME环境变量

HADOOP_USER_NAME 本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限

或者在Java代码中设置变量:

java 复制代码
System.setProperty("HADOOP_USER_NAME", "song");

优先级:Windows系统变量 > Java环境变量设置

3、winutils

https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;

二、Intelj IDEA配置

1、安装 Big Data Tools

2、下载 HDFS 客户端配置

解压并存放于D:\BigData\hadoop\hadoop-conf;

3、配置 Big Data Tools

3.1 选择 HDFS
3.2 选择 HDFS 配置路径
3.3 验证

相关推荐
我命由我1234541 分钟前
IDEA - IDEA 快速回到页面首尾、页面快速滑动、快速定位到指定行
java·运维·ide·后端·java-ee·intellij-idea·intellij idea
舒一笑13 小时前
从手写周报到智能生成:PandaCoder如何让你的工作汇报效率提升10倍
后端·程序员·intellij idea
yumgpkpm14 小时前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
数据牧羊人的成长笔记20 小时前
Hadoop 分布式计算MapReduce和资源管理Yarn
hadoop·eclipse·mapreduce
新疆嘉博智选科技有限公司20 小时前
Macos系统上搭建Hadoop详细过程
大数据·hadoop·分布式
计算机编程-吉哥1 天前
大数据毕业设计项目推荐 基于大数据的广西药店数据可视化分析系统 1.65w条数据【大数据毕业设计项目选题】
大数据·hadoop·毕业设计·计算机毕设·大数据毕业设计选题推荐
小湘西1 天前
在 Hive 中NULL的理解
数据仓库·hive·hadoop
牛奶咖啡131 天前
zabbix实现监控Hadoop、Docker、SSL证书过期时间应用的保姆级实操流程
hadoop·zabbix·docker-ce引擎安装·监控docker容器·监控ssl证书的过期时间·监控hadoop·安装配置agent2
小鹿学程序2 天前
搭建hadoop集群
大数据·hadoop·分布式
John Song2 天前
用zookpeer搭建Hadoop的HA集群,组件启动的启动顺序是什么?
大数据·hadoop·debian