【hadoop】Java API连接(操作)HDFS

Java API连接(操作)HDFS

直接连接遇到的问题

直接运行下面的代码,会出现权限不够的问题

java 复制代码
@Test
public void test1() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

错误:

org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="/folder1":root:supergroup:drwxr-xr-x

下面使用四种方式来解决权限不够的问题。

设置执行的用户为root用户

环境变量 :HADOOP_USER_NAME

java 复制代码
@Test
public void test3() throws Exception{
	System.setProperty("HADOOP_USER_NAME", "root");
		
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

使用Java的-D参数来设置环境变量

java 复制代码
@Test
public void test2() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

根据下面的步骤使用Java的-D参数




使用chmod的命令赋予权限

在linux上, 执行 hdfs dfs -chmod 777 /folder2

将读写执行的权限都给到/folder2

java 复制代码
@Test
public void test4() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
	
	//创建目录
	client.mkdirs(new Path("/folder2/folder3"));
		
	//关闭客户端
	client.close();
}

修改参数配置

先停止HDFS

进入HADOOP_HOME/etc/hadoop路径,编辑hdfs-site.xml文件

xml 复制代码
<property>
		<name>dfs.permissions</name>
		<value>false</value>
</property>

保存后再启动HDFS,但注意在启动后,等待一段时间在去进行操作,因为HDFS启动的时候有一段时间是安全模式,所以在安全模式下是操作不了HDFS的。

相关推荐
安逸sgr8 分钟前
SpringMVC启动流程
java·jvm·spring·spring cloud·eclipse·tomcat·maven
lifallen44 分钟前
从Apache Doris 学习 HyperLogLog
java·大数据·数据仓库·算法·apache
fire-flyer1 小时前
maven-jlink-plugin入门
java·maven
Knight_AL1 小时前
Java 单元测试全攻略:JUnit 生命周期、覆盖率提升、自动化框架与 Mock 技术
java·junit·单元测试
cominglately1 小时前
记录一次生产环境数据库死锁的处理过程
java·死锁
用户0332126663671 小时前
在 Word 文档中插入图片的 Java 指南
java
深圳蔓延科技1 小时前
单点登录到底是什么?
java·后端
SimonKing1 小时前
除了 ${},Thymeleaf 的这些用法让你直呼内行
java·后端·程序员
科兴第一吴彦祖1 小时前
基于Spring Boot + Vue 3的乡村振兴综合服务平台
java·vue.js·人工智能·spring boot·推荐算法
ajassi20001 小时前
开源 java android app 开发(十八)最新编译器Android Studio 2025.1.3.7
android·java·开源