java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统,需要给文件系统权限

(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xml

core-site.xml文件配置具体ip

复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip:9000</value>
  </property> 
</configuration>

(2)文件权限

hdfs dfs -chmod -R 777 /

2、maven依赖

复制代码
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>

3、具体操作

(1)创建文件夹

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
boolean bool = fileSystem.mkdirs(new Path("/test"));
System.out.println(bool);

(2)创建文件

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("/demo/test1.txt");
FSDataOutputStream out = fileSystem.create(path);
out.write("hfajdhfkafa".getBytes());
out.flush();
out.close();
相关推荐
递归尽头是星辰14 分钟前
Spark核心技术解析:从RDD到Dataset的演进与实践
大数据·rdd·dataset·spark核心·spark编程模型
白日与明月23 分钟前
对Hive表进行归档,减少小文件的影响
数据仓库·hive·hadoop
智界工具库37 分钟前
《IDEA 2025 长效使用指南:2099 年有效期配置实战之JetBrains全家桶有效》
java·ide·intellij-idea
嘉禾望岗50338 分钟前
hive窗口函数与自定义函数
数据仓库·hive·hadoop
Mr.456740 分钟前
MQTT通信实现方案(Spring Boot 3 集成MQTT)
java·spring boot·后端
徐子童1 小时前
JVM高频面试题---类加载机制
java·jvm·面试题
青草地溪水旁1 小时前
设计模式(C++)详解——迭代器模式(2)
java·c++·设计模式·迭代器模式
9号达人1 小时前
Java18 新特性详解与实践
java·后端·面试
我不是混子1 小时前
java浮点数精度问题及解决方案
java·后端
花心蝴蝶.2 小时前
Java 中的代理模式
java·开发语言·代理模式