【hadoop】Java API连接(操作)HDFS

Java API连接(操作)HDFS

直接连接遇到的问题

直接运行下面的代码,会出现权限不够的问题

java 复制代码
@Test
public void test1() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

错误:

org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="/folder1":root:supergroup:drwxr-xr-x

下面使用四种方式来解决权限不够的问题。

设置执行的用户为root用户

环境变量 :HADOOP_USER_NAME

java 复制代码
@Test
public void test3() throws Exception{
	System.setProperty("HADOOP_USER_NAME", "root");
		
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

使用Java的-D参数来设置环境变量

java 复制代码
@Test
public void test2() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

根据下面的步骤使用Java的-D参数




使用chmod的命令赋予权限

在linux上, 执行 hdfs dfs -chmod 777 /folder2

将读写执行的权限都给到/folder2

java 复制代码
@Test
public void test4() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
	
	//创建目录
	client.mkdirs(new Path("/folder2/folder3"));
		
	//关闭客户端
	client.close();
}

修改参数配置

先停止HDFS

进入HADOOP_HOME/etc/hadoop路径,编辑hdfs-site.xml文件

xml 复制代码
<property>
		<name>dfs.permissions</name>
		<value>false</value>
</property>

保存后再启动HDFS,但注意在启动后,等待一段时间在去进行操作,因为HDFS启动的时候有一段时间是安全模式,所以在安全模式下是操作不了HDFS的。

相关推荐
虾条_花吹雪5 分钟前
Chat Model API
java
双力臂40411 分钟前
MyBatis动态SQL进阶:复杂查询与性能优化实战
java·sql·性能优化·mybatis
六毛的毛41 分钟前
Springboot开发常见注解一览
java·spring boot·后端
程序漫游人1 小时前
centos8.5安装jdk21详细安装教程
java·linux
超级码.里奥.农2 小时前
零基础 “入坑” Java--- 七、数组(二)
java·开发语言
hqxstudying2 小时前
Java创建型模式---单例模式
java·数据结构·设计模式·代码规范
挺菜的2 小时前
【算法刷题记录(简单题)002】字符串字符匹配(java代码实现)
java·开发语言·算法
A__tao2 小时前
一键将 SQL 转为 Java 实体类,全面支持 MySQL / PostgreSQL / Oracle!
java·sql·mysql
一只叫煤球的猫2 小时前
真实事故复盘:Redis分布式锁居然失效了?公司十年老程序员踩的坑
java·redis·后端
猴哥源码2 小时前
基于Java+SpringBoot的农事管理系统
java·spring boot