【hadoop】Java API连接(操作)HDFS

Java API连接(操作)HDFS

直接连接遇到的问题

直接运行下面的代码,会出现权限不够的问题

java 复制代码
@Test
public void test1() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

错误:

org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="/folder1":root:supergroup:drwxr-xr-x

下面使用四种方式来解决权限不够的问题。

设置执行的用户为root用户

环境变量 :HADOOP_USER_NAME

java 复制代码
@Test
public void test3() throws Exception{
	System.setProperty("HADOOP_USER_NAME", "root");
		
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

使用Java的-D参数来设置环境变量

java 复制代码
@Test
public void test2() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
		
	//创建目录
	client.mkdirs(new Path("/folder1"));
		
	//关闭客户端
	client.close();
}

根据下面的步骤使用Java的-D参数




使用chmod的命令赋予权限

在linux上, 执行 hdfs dfs -chmod 777 /folder2

将读写执行的权限都给到/folder2

java 复制代码
@Test
public void test4() throws Exception{
	//指定NameNode地址
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
		
	//创建一个HDFS的客户端 DistributedFileSystem
	FileSystem client = FileSystem.get(conf);
	
	//创建目录
	client.mkdirs(new Path("/folder2/folder3"));
		
	//关闭客户端
	client.close();
}

修改参数配置

先停止HDFS

进入HADOOP_HOME/etc/hadoop路径,编辑hdfs-site.xml文件

xml 复制代码
<property>
		<name>dfs.permissions</name>
		<value>false</value>
</property>

保存后再启动HDFS,但注意在启动后,等待一段时间在去进行操作,因为HDFS启动的时候有一段时间是安全模式,所以在安全模式下是操作不了HDFS的。

相关推荐
皮皮林5511 小时前
SpringBoot 全局/局部双模式 Gzip 压缩实战:14MB GeoJSON 秒变 3MB
java·spring boot
weixin_456904271 小时前
Spring Boot 用户管理系统
java·spring boot·后端
趁你还年轻_1 小时前
异步编程CompletionService
java
DKPT1 小时前
Java内存区域与内存溢出
java·开发语言·jvm·笔记·学习
sibylyue1 小时前
Guava中常用的工具类
java·guava
奔跑吧邓邓子1 小时前
【Java实战㉞】从0到1:Spring Boot Web开发与接口设计实战
java·spring boot·实战·web开发·接口设计
专注API从业者2 小时前
Python/Java 代码示例:手把手教程调用 1688 API 获取商品详情实时数据
java·linux·数据库·python
奔跑吧邓邓子2 小时前
【Java实战㉝】Spring Boot实战:从入门到自动配置的进阶之路
java·spring boot·实战·自动配置
ONLYOFFICE2 小时前
【技术教程】如何将ONLYOFFICE文档集成到使用Spring Boot框架编写的Java Web应用程序中
java·spring boot·编辑器
叫我阿柒啊2 小时前
Java全栈开发工程师的实战面试经历:从基础到微服务
java·微服务·typescript·vue·springboot·前端开发·后端开发