kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传

1、kettle本身文件上传功能不是很友好,甚至是不能直接使用,需要调整文件上传接口才可以正常接收到文件,本次讲解内容主要是通过自定义插件解决这个问题。

2、通过springboot 编写简单demo,模拟文件上传,接口支持三个参数unitCode、password、和文件dataFile。

java代码如下:

java 复制代码
@PostMapping("/upload")
    public ResponseVo<String> upload(
            @RequestParam("unitCode") String unitCode,
            @RequestParam("password") String password,
            @RequestParam("dataFile") MultipartFile file) {

        // 验证基本信息
            return ResponseVo.success("服务端成功接收到文件");
        }

3、通过网页形式进行上传文件,如下图所示

点击上传之后成功截图如下:

index.html源文件

html 复制代码
<html>
<body>
<form name="form1" action="http://127.0.0.1:8081/bond/file/upload" method="post" enctype="multipart/form-data">  
    <table>
        <tr>
              <td>XXX编码: </td>
            <td><INPUT TYPE="text" NAME="unitCode" value="666888"></td>
        </tr>
         <tr>
              <td>密码: </td>
            <td><INPUT TYPE="text" NAME="password" value="000000"></td>
        </tr>
        <tr>
            <td>文件: </td>
            <td><input type="file" name="dataFile">  </td>
          </tr> 
        <tr>
            <td>&nbsp;</td>
            <td><input type="submit" name="Submit" value="上传"></td>
      </tr>
    </table>
</form>
</body>
</html>

4、通过kettle自定义插件实现文件上传,流程编排如下:

5、生成记录步骤模拟数据,驱动流程,如下图所示:

body:对应form表单中的参数。

file:对应form表单中的文件。

6、文件上传参数配置,如下图所示:

{{body}}:表示从前面【生成记录】步骤获取参数body,同时也支持采用变量的方式,如${BODY}

method:设置为postForm。

isUploadFile:true,表示需要上传文件,false 为否。

files:表示需要上传的文件,通过{{file}}从前面【生成记录步骤进行获取】

resultField:表示此插件调用接口之后将结果放到result字段里面。

7、通过写日志步骤输出body、file、result 三个字段,如下图所示:

8、保存&运行,文件可以正常上传,如下图所示:

9、将服务端服务手动停掉,重新运行提示如下错误,如下图所示:

相关推荐
B站计算机毕业设计超人5 小时前
计算机毕业设计Hadoop+PySpark深圳共享单车预测系统 PyHive 共享单车数据分析可视化大屏 共享单车爬虫 共享单车数据仓库 机器学习 深度学习
数据仓库·hive·hadoop·爬虫·机器学习·spark·数据可视化
搁浅mf丶8 小时前
Doris 2.x 安装及使用
数据仓库
字节数据平台9 小时前
助力降本增效,ByteHouse打造新一代云原生数据仓库
数据仓库·云原生
桃子是唯一的水果1 天前
hive窗口函数实现组内求和、累加、排序、计数
数据仓库·hive·hadoop
全栈弟弟1 天前
数据科学基石:解析属性类型体系——从标称到比率,全面洞察数据分类机制
大数据·数据仓库·数据挖掘·flink·spark
sheansavage1 天前
Hive基本原理与数据开发
数据仓库·hive·hadoop
尘世壹俗人1 天前
hive如何新增分区
数据仓库·hive·hadoop
蒜蓉大猩猩1 天前
SQL - 进阶语法(一)
大数据·数据库·数据仓库·sql·数据库架构
职教育人2 天前
全国职业院校技能大赛(大数据赛项)-平台搭建hive笔记
大数据·数据仓库·hive·笔记