java大数据hadoop2.92 Java连接操作

1、要想Java可以连接自己虚拟机的hadoop文件系统,需要给文件系统权限

(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xml

core-site.xml文件配置具体ip

复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip:9000</value>
  </property> 
</configuration>

(2)文件权限

hdfs dfs -chmod -R 777 /

2、maven依赖

复制代码
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>

3、具体操作

(1)创建文件夹

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
boolean bool = fileSystem.mkdirs(new Path("/test"));
System.out.println(bool);

(2)创建文件

java 复制代码
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("/demo/test1.txt");
FSDataOutputStream out = fileSystem.create(path);
out.write("hfajdhfkafa".getBytes());
out.flush();
out.close();
相关推荐
用户Taobaoapi201411 分钟前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析
用户Taobaoapi201432 分钟前
京东商品评论API开发指南
大数据·数据挖掘·数据分析
liliangcsdn34 分钟前
结合prompt分析NodeRAG的build过程
java·服务器·人工智能·数据分析·知识图谱
微三云-轩1 小时前
小程序:12亿用户的入口,企业数字化的先锋军
大数据·小程序·开源软件
黑色的山岗在沉睡1 小时前
LeetCode 189. 轮转数组
java·算法·leetcode
会飞的小蛮猪1 小时前
Jenkins运维之路(权限分配&忘记admin密码)
java·运维·经验分享·jenkins·prometheus
数据智研1 小时前
【数据分享】上市公司数字化转型相关词频统计数据(2000-2024)
大数据·数据分析
slim~1 小时前
Java基础第9天总结(可变参数、Collections、斗地主)
java·开发语言
zskj_zhyl1 小时前
七彩喜智慧养老:科技向善,让“养老”变“享老”的智慧之选
大数据·人工智能·科技·物联网·机器人