java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统,需要给文件系统权限

(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xml

core-site.xml文件配置具体ip

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip:9000</value>
  </property> 
</configuration>

(2)文件权限

hdfs dfs -chmod -R 777 /

2、maven依赖

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>

3、具体操作

(1)创建文件夹

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
boolean bool = fileSystem.mkdirs(new Path("/test"));
System.out.println(bool);

(2)创建文件

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("/demo/test1.txt");
FSDataOutputStream out = fileSystem.create(path);
out.write("hfajdhfkafa".getBytes());
out.flush();
out.close();
相关推荐
Theodore_10222 小时前
4 设计模式原则之接口隔离原则
java·开发语言·设计模式·java-ee·接口隔离原则·javaee
zhixingheyi_tian3 小时前
Spark 之 Aggregate
大数据·分布式·spark
PersistJiao3 小时前
Spark 分布式计算中网络传输和序列化的关系(一)
大数据·网络·spark
冰帝海岸3 小时前
01-spring security认证笔记
java·笔记·spring
世间万物皆对象4 小时前
Spring Boot核心概念:日志管理
java·spring boot·单元测试
没书读了4 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
小二·4 小时前
java基础面试题笔记(基础篇)
java·笔记·python
开心工作室_kaic5 小时前
ssm161基于web的资源共享平台的共享与开发+jsp(论文+源码)_kaic
java·开发语言·前端
懒洋洋大魔王5 小时前
RocketMQ的使⽤
java·rocketmq·java-rocketmq
武子康5 小时前
Java-06 深入浅出 MyBatis - 一对一模型 SqlMapConfig 与 Mapper 详细讲解测试
java·开发语言·数据仓库·sql·mybatis·springboot·springcloud