kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传

1、kettle本身文件上传功能不是很友好,甚至是不能直接使用,需要调整文件上传接口才可以正常接收到文件,本次讲解内容主要是通过自定义插件解决这个问题。

2、通过springboot 编写简单demo,模拟文件上传,接口支持三个参数unitCode、password、和文件dataFile。

java代码如下:

java 复制代码
@PostMapping("/upload")
    public ResponseVo<String> upload(
            @RequestParam("unitCode") String unitCode,
            @RequestParam("password") String password,
            @RequestParam("dataFile") MultipartFile file) {

        // 验证基本信息
            return ResponseVo.success("服务端成功接收到文件");
        }

3、通过网页形式进行上传文件,如下图所示

点击上传之后成功截图如下:

index.html源文件

html 复制代码
<html>
<body>
<form name="form1" action="http://127.0.0.1:8081/bond/file/upload" method="post" enctype="multipart/form-data">  
    <table>
        <tr>
              <td>XXX编码: </td>
            <td><INPUT TYPE="text" NAME="unitCode" value="666888"></td>
        </tr>
         <tr>
              <td>密码: </td>
            <td><INPUT TYPE="text" NAME="password" value="000000"></td>
        </tr>
        <tr>
            <td>文件: </td>
            <td><input type="file" name="dataFile">  </td>
          </tr> 
        <tr>
            <td>&nbsp;</td>
            <td><input type="submit" name="Submit" value="上传"></td>
      </tr>
    </table>
</form>
</body>
</html>

4、通过kettle自定义插件实现文件上传,流程编排如下:

5、生成记录步骤模拟数据,驱动流程,如下图所示:

body:对应form表单中的参数。

file:对应form表单中的文件。

6、文件上传参数配置,如下图所示:

{{body}}:表示从前面【生成记录】步骤获取参数body,同时也支持采用变量的方式,如${BODY}

method:设置为postForm。

isUploadFile:true,表示需要上传文件,false 为否。

files:表示需要上传的文件,通过{{file}}从前面【生成记录步骤进行获取】

resultField:表示此插件调用接口之后将结果放到result字段里面。

7、通过写日志步骤输出body、file、result 三个字段,如下图所示:

8、保存&运行,文件可以正常上传,如下图所示:

9、将服务端服务手动停掉,重新运行提示如下错误,如下图所示:

相关推荐
Gain_chance1 小时前
32-学习笔记尚硅谷数仓搭建-DWD层首日数据装载脚本及每日数据装载脚本
大数据·数据仓库·hive·笔记·学习
Aloudata1 小时前
数据工程指南:指标平台选型避坑与 NoETL 语义编织技术解析
sql·数据分析·自动化·etl·指标平台
WJX_KOI3 小时前
保姆级教程:Apache Seatunnel CDC(standalone 模式)部署 MySQL CDC、PostgreSQL CDC 及使用方法
java·大数据·mysql·postgresql·big data·etl
Gain_chance3 小时前
29-学习笔记尚硅谷数仓搭建-DWD层交易域下单事务事实表和交易域支付成功事务事实表
数据仓库·hive·笔记·学习·datagrip
Zilliz Planet4 小时前
<span class=“js_title_inner“>Spark做ETL,与Ray/Daft做特征工程的区别在哪里,如何选型?</span>
大数据·数据仓库·分布式·spark·etl
Aloudata4 小时前
存量数仓宽表治理:基于 NoETL 语义编织实现指标统一管理
大数据·sql·数据分析·自动化·etl·指标平台
TTBIGDATA4 小时前
【Ranger】Ambari开启Kerberos 后 ,Ranger 中 Hive 策略里,Resource lookup fail 线程池超时优化
大数据·数据仓库·hive·hadoop·ambari·hdp·ranger
老百姓懂点AI1 天前
[数据工程] 告别脏数据:智能体来了(西南总部)AI调度官的自动化ETL清洗与AI agent指挥官的数据合成管线
人工智能·自动化·etl
爬山算法1 天前
Hibernate(79)如何在ETL流程中使用Hibernate?
java·hibernate·etl
沃达德软件1 天前
智慧警务技战法
大数据·数据仓库·hadoop·深度学习·机器学习·数据挖掘