springboot远程链接Hadoop

2.3、springboot远程链接Hadoop

1、依赖

xml 复制代码
<!--        Hadoop依赖-->
        <!-- Hadoop Client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.1</version>
        </dependency>

2、yaml文件

yaml 复制代码
#HDFS配置
hdfs:
  path: hdfs://192.168.44.128:9000
  user: hadoop

3、安装配置winutils.exe

4、示例代码

  • controller层

    java 复制代码
    @RestController
    @RequestMapping("/test/hdfs")
    public class HdfsController {
     
        @Autowired
        private HdfsService service;
     
     
        @GetMapping("/mkdir")
        public String mkdir(String path){
            try {
                service.mkdir(path);
                return "1";
            } catch (Exception e) {
                System.out.print(e.toString());
                return "2";
            }
        }
    }
  • service层

    java 复制代码
        public boolean mkdir(String dir) throws Exception{
            if(StringUtils.isBlank(dir)){
                return false;
            }
            if(exist(dir)){
                return true;
            }
            FileSystem fileSystem = getFileSystem();
            boolean isOk = fileSystem.mkdirs(new Path(dir));
            fileSystem.close();
            return isOk;
        }
相关推荐
lang2015092831 分钟前
Spring Boot 官方文档精解:构建与依赖管理
java·spring boot·后端
why技术2 小时前
从18w到1600w播放量,我的一点思考。
java·前端·后端
间彧2 小时前
Redis Cluster vs Sentinel模式区别
后端
间彧2 小时前
🛡️ 构建高可用缓存架构:Redis集群与Caffeine多级缓存实战
后端
间彧2 小时前
构建本地缓存(如Caffeine)+ 分布式缓存(如Redis集群)的二级缓存架构
后端
程序猿DD4 小时前
Java 25 中的 6 个新特性解读
java·后端
稻草猫.4 小时前
文件 IO
java·笔记·后端·java-ee·idea
掘金码甲哥4 小时前
有关CORS跨域访问,这事没完
后端
码事漫谈4 小时前
从外行到AI指挥官:你必须掌握的五大「程序员思维」
后端
Moonbit4 小时前
MoonBit 开发者激励计划开启|赢取价值 $20 Copilot 月卡权益!
后端