kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传

1、kettle本身文件上传功能不是很友好,甚至是不能直接使用,需要调整文件上传接口才可以正常接收到文件,本次讲解内容主要是通过自定义插件解决这个问题。

2、通过springboot 编写简单demo,模拟文件上传,接口支持三个参数unitCode、password、和文件dataFile。

java代码如下:

java 复制代码
@PostMapping("/upload")
    public ResponseVo<String> upload(
            @RequestParam("unitCode") String unitCode,
            @RequestParam("password") String password,
            @RequestParam("dataFile") MultipartFile file) {

        // 验证基本信息
            return ResponseVo.success("服务端成功接收到文件");
        }

3、通过网页形式进行上传文件,如下图所示

点击上传之后成功截图如下:

index.html源文件

html 复制代码
<html>
<body>
<form name="form1" action="http://127.0.0.1:8081/bond/file/upload" method="post" enctype="multipart/form-data">  
    <table>
        <tr>
              <td>XXX编码: </td>
            <td><INPUT TYPE="text" NAME="unitCode" value="666888"></td>
        </tr>
         <tr>
              <td>密码: </td>
            <td><INPUT TYPE="text" NAME="password" value="000000"></td>
        </tr>
        <tr>
            <td>文件: </td>
            <td><input type="file" name="dataFile">  </td>
          </tr> 
        <tr>
            <td>&nbsp;</td>
            <td><input type="submit" name="Submit" value="上传"></td>
      </tr>
    </table>
</form>
</body>
</html>

4、通过kettle自定义插件实现文件上传,流程编排如下:

5、生成记录步骤模拟数据,驱动流程,如下图所示:

body:对应form表单中的参数。

file:对应form表单中的文件。

6、文件上传参数配置,如下图所示:

{{body}}:表示从前面【生成记录】步骤获取参数body,同时也支持采用变量的方式,如${BODY}

method:设置为postForm。

isUploadFile:true,表示需要上传文件,false 为否。

files:表示需要上传的文件,通过{{file}}从前面【生成记录步骤进行获取】

resultField:表示此插件调用接口之后将结果放到result字段里面。

7、通过写日志步骤输出body、file、result 三个字段,如下图所示:

8、保存&运行,文件可以正常上传,如下图所示:

9、将服务端服务手动停掉,重新运行提示如下错误,如下图所示:

相关推荐
卡拉叽里呱啦19 小时前
Apache Iceberg介绍、原理与性能优化
大数据·数据仓库
AI悦创|编程1v14 天前
00-1-正则表达式学习心得:从入门到上瘾,再到克制
数据仓库·正则表达式·数据挖掘·ai悦创编程一对一教学·python一对一辅导·python一对一教学
DashingGuy5 天前
数仓各层级设计总结
数据仓库
DashingGuy5 天前
从0-1建设数据仓库
数据仓库
数据要素X5 天前
【大数据实战】如何从0到1构建用户画像系统(案例+数据仓库+Airflow调度)
大数据·数据仓库·数据治理·数据中台
西岭千秋雪_6 天前
RAG核心特性:ETL
数据仓库·人工智能·spring boot·ai编程·etl
Hello.Reader7 天前
优化 Flink 基于状态的 ETL少 Shuffle、不膨胀、可落地的工程
flink·php·etl
孟意昶7 天前
Spark专题-第三部分:性能监控与实战优化(1)-认识spark ui
大数据·数据仓库·sql·ui·spark·etl
LgZhu(Yanker)8 天前
40、企业智能决策引擎:BI分析平台的架构设计与业务实践
信息可视化·数据分析·etl·bi·大屏