ETL工具 Kettle 中怎么通过变量传参

第一章 ETL工具 Kettle 中怎么通过变量传参

文章目录


前言

作为一个数据产品经理,什么都要会点,今天就说下 Kettle ,大企业的数据开发职位用的会比较多。但 Kettle 核心对象用的最频繁 不会超过 10个

一般主要 有2种

转换 : 表输入,表输出 ,执行 sql 脚本 ,邮件(提醒),变量(传参)。

作业: start ,作业,转换,成功。

下面我来举个例子我最简单的方法告诉大家

太基础的我就不说了,本示例请先安装好 Kettle(8.0以上版本) 和MySQL 数据库

一、新建示例用的表

c 复制代码
请在mysql 下执行 

 drop table movies
 drop table ods_movies
  
CREATE TABLE `movies` (
  `yyyy_mm_dd` Date DEFAULT NULL,
  `movies_name` varchar(50) DEFAULT NULL,
  `total_gross` double DEFAULT NULL,
  `currency` varchar(50) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

CREATE TABLE `ods_movies` (
  `yyyy_mm_dd` Date DEFAULT NULL,
  `movies_name` varchar(50) DEFAULT NULL,
  `total_gross` double DEFAULT NULL,
  `currency` varchar(50) DEFAULT NULL,
  `etl_time` Datetime DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

insert into movies(yyyy_mm_dd,movies_name,total_gross,currency)
values 
('2019/7/1','《复仇者联盟:终局之战》','2885000000','USD'),
('2015/12/1','《星球大战:原力觉醒》','2486000000','USD'),
('2019/12/1','《星球大战:天行者崛起》','1085000000','USD'),
('2018/6/1','《超人总动员2》','1243000000','USD'),
('2016/11/1','《海底总动员2:多莉去哪儿》','1053000000','USD'),
('2017/3/1','《美女与野兽》','1263000000','USD'),
('2019/9/1','《狮子王》','1106000000','USD'),
('2019/8/1','《美国队长3:内战》','1157000000','USD'),
('2018/2/1','《黑豹》','1345000000','USD')

说明:如果要用 MYSQL 8.0建立数据仓库 建议表引擎用ENGINE=MyISAM ,原理这里就不说的,懂的都懂。😃

二、使用

1.新建转换-时间变量

2.转换中加入表输入


c 复制代码
select yyyy_mm_dd as 'cur_day' from movies where yyyy_mm_dd='2019-07-01'
///这里将字段名先设置为 cur_day

3.设置变量


这个将 变量名设置为 CUR_DAY
变量活动类型设置为 :Valid in the Java Virtual Machine

4.变量设置完成

5.再新建转换-传参数插入表

拖入 表输入和 表输出

6.传参数插入表-表输入

c 复制代码
select yyyy_mm_dd,movies_name ,total_gross ,currency ,
now() as 'etl_time'
from movies where yyyy_mm_dd='${CUR_DAY}'

替换SQL语句里的变量这个很重要已经要勾上

7.传参数插入表-表输出

目标表 ods_movies

目标是 将 movies表数据输出到 ods_movies表中

8.新建作业

在通用里面拖入 3个对象,

9.执行作业和保存



10.数据库结果

总结

以上就是今天要讲的内容,本文仅仅简单介绍了变量的基础使用。希望可以帮助到 一些朋友。

相关推荐
欧先生^_^5 分钟前
Jinja 的详细介绍和学习方法
数据库·sqlite
husterlichf6 分钟前
MYSQL 常用字符串函数 和 时间函数详解
数据库·sql·mysql
科技在线21 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
hnlucky31 分钟前
redis 数据类型新手练习系列——Hash类型
数据库·redis·学习·哈希算法
LucianaiB1 小时前
【金仓数据库征文】_AI 赋能数据库运维:金仓KES的智能化未来
运维·数据库·人工智能·金仓数据库 2025 征文·数据库平替用金仓
24k小善1 小时前
Flink TaskManager详解
java·大数据·flink·云计算
时序数据说2 小时前
时序数据库IoTDB在航空航天领域的解决方案
大数据·数据库·时序数据库·iotdb
.生产的驴2 小时前
SpringBoot 封装统一API返回格式对象 标准化开发 请求封装 统一格式处理
java·数据库·spring boot·后端·spring·eclipse·maven
AnsenZhu2 小时前
2025年Redis分片存储性能优化指南
数据库·redis·性能优化·分片
oydcm2 小时前
MySQL数据库概述
数据库·mysql