springboot远程链接Hadoop

2.3、springboot远程链接Hadoop

1、依赖

xml 复制代码
<!--        Hadoop依赖-->
        <!-- Hadoop Client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.1</version>
        </dependency>

2、yaml文件

yaml 复制代码
#HDFS配置
hdfs:
  path: hdfs://192.168.44.128:9000
  user: hadoop

3、安装配置winutils.exe

4、示例代码

  • controller层

    java 复制代码
    @RestController
    @RequestMapping("/test/hdfs")
    public class HdfsController {
     
        @Autowired
        private HdfsService service;
     
     
        @GetMapping("/mkdir")
        public String mkdir(String path){
            try {
                service.mkdir(path);
                return "1";
            } catch (Exception e) {
                System.out.print(e.toString());
                return "2";
            }
        }
    }
  • service层

    java 复制代码
        public boolean mkdir(String dir) throws Exception{
            if(StringUtils.isBlank(dir)){
                return false;
            }
            if(exist(dir)){
                return true;
            }
            FileSystem fileSystem = getFileSystem();
            boolean isOk = fileSystem.mkdirs(new Path(dir));
            fileSystem.close();
            return isOk;
        }
相关推荐
我不会起名字32212 分钟前
WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么
redis·后端·websocket·go·即时通讯·im·故障排查
演艺大赏20 分钟前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
杨凯凡27 分钟前
Spring Boot 事务提交后消息仍会丢?TransactionalEventListener 与 Outbox 可靠投递实战
java·spring boot
演艺大赏1 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
苏三说技术1 小时前
为什么越来越多人用 OnlyOffice ?
后端
回家路上绕了弯1 小时前
RAG:把知识库接进大模型,然后呢?
后端
SimonKing2 小时前
快讯!local-notes素笺笔记又又又更新了!
java·后端·程序员
Rain的Java大神之路2 小时前
面试官:设计一个自动售货机系统。我:别急着写代码,先问5个问题|状态机+防超卖+断电自愈,一套答法讲透
java·后端·面试
不一样的少年_2 小时前
用了这 Skill,前端兄弟都觉得好
前端·后端·ai编程
卷无止境2 小时前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python