kettle学习-02多数据源合并

1.1 实验目的

利用 Kettle 的"数据流优先级排序"等组件,完成多个数据源的合并。

1.2 实验要求

熟练掌握"数据流优先级排序", "JavaScript 代码","字段选择"等组件的使用,完成多个数据源的合并。

1.3 实验原理

通过"字段选择"选择最终输出的字段到下一个步骤"数据流优先级排序"(实验中必须保证每个数据源经过字段选择后,输出的字段都是一致的),在"数据流优先级排序"步骤中,设置多个数据源的合并顺序进行合并,然后通过"Microsoft Excel 输出"输出到表格。

1.4 实验步骤

1.4.1 创建转换:点击新建按钮 ,在下拉菜单中点击选择转换 ,这样创建了一个转换文件。我们点击保存按钮,重命名该转换文件,保存在某个指定的路径

1.4.2 我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好,按下图所示连接好组件。

1.4.3 各组件的配置:

1.4.3.1"Excel 输入"的配置:

1.4.3.2"Excel 输入 2"的配置:

1.4.3.3"Excel 输入 3"的配置:

1.4.3.4"JavaScript 代码","JavaScript 代码 2","JavaScript 代码 3"的配置:

1.4.3.5"字段选择","字段选择 2","字段选择 3"的配置:点击 ,选择相关的字段。

1.4.3.6 "空操作","空操作 2"的配置:不需要配置,但此步骤输出到下个步骤的数据源是随机合并的。

1.4.3.7"排序记录"的配置:对上个步骤随机合并的数据进行按编号这个字段排序输出。

1.4.3.8"Microsoft Excel 输出"的配置

1.4.4运行程序:点击开始运行程序,在弹出的对话框中,选择运行该程序。

1.5 实验结果

1.5.1 输入数据

(1)课程信息表-1:

(2)课程信息表-2:

(3)课程信息表-3:

1.5.2输出数据

数据源:

相关推荐
RestCloud3 天前
数据同步零中断:ETL服务宕机重启后异常任务自动重跑
数据仓库·mysql·etl·etlcloud·数据传输·etl工具
这个DBA有点耶5 天前
ELT工具选型:ETL与ELT差异、CDC同步机制与主流工具对比`
数据库·数据仓库·sql·database·dba·etl·数据库管理员
bingHHB8 天前
钉钉审批修改后回写金蝶付款单:增量更新策略实战
etl·集成学习
Dyx邓杨喜11 天前
EasyJob开源发布,让数据自动飞进飞书大屏(多种任务类型 : SQL任务,ETL 同步,监控通知,飞书表格同步,HTTP请求,自定义任务流)
http请求·etl·数据同步·任务调度·飞书表格
躺柒18 天前
读数据架构知识体系指南12数据导入方法
数据分析·etl·数据架构·elt·数据设计·反向etl
千桐科技21 天前
数据中台 ETL 编排实践:基于 qData 开源版实现数据接入、转换与调度执行
数据仓库·开源·etl
2601_962284171 个月前
基于Apache Cassandra与Python的数据建模及ETL实践
python·nosql·etl·数据建模·apachecassandra
想吃披萨1 个月前
Kettle下载地址
etl
RestCloud1 个月前
飞书多维表格落地新思路:ETL做数据导入,豆包做业务智能分析
数据仓库·飞书·etl·数据传输·api对接·豆包