kettle学习-02多数据源合并

1.1 实验目的

利用 Kettle 的"数据流优先级排序"等组件,完成多个数据源的合并。

1.2 实验要求

熟练掌握"数据流优先级排序", "JavaScript 代码","字段选择"等组件的使用,完成多个数据源的合并。

1.3 实验原理

通过"字段选择"选择最终输出的字段到下一个步骤"数据流优先级排序"(实验中必须保证每个数据源经过字段选择后,输出的字段都是一致的),在"数据流优先级排序"步骤中,设置多个数据源的合并顺序进行合并,然后通过"Microsoft Excel 输出"输出到表格。

1.4 实验步骤

1.4.1 创建转换:点击新建按钮 ,在下拉菜单中点击选择转换 ,这样创建了一个转换文件。我们点击保存按钮,重命名该转换文件,保存在某个指定的路径

1.4.2 我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好,按下图所示连接好组件。

1.4.3 各组件的配置:

1.4.3.1"Excel 输入"的配置:

1.4.3.2"Excel 输入 2"的配置:

1.4.3.3"Excel 输入 3"的配置:

1.4.3.4"JavaScript 代码","JavaScript 代码 2","JavaScript 代码 3"的配置:

1.4.3.5"字段选择","字段选择 2","字段选择 3"的配置:点击 ,选择相关的字段。

1.4.3.6 "空操作","空操作 2"的配置:不需要配置,但此步骤输出到下个步骤的数据源是随机合并的。

1.4.3.7"排序记录"的配置:对上个步骤随机合并的数据进行按编号这个字段排序输出。

1.4.3.8"Microsoft Excel 输出"的配置

1.4.4运行程序:点击开始运行程序,在弹出的对话框中,选择运行该程序。

1.5 实验结果

1.5.1 输入数据

(1)课程信息表-1:

(2)课程信息表-2:

(3)课程信息表-3:

1.5.2输出数据

数据源:

相关推荐
千桐科技1 天前
数据中台 ETL 编排实践:基于 qData 开源版实现数据接入、转换与调度执行
数据仓库·开源·etl
2601_9622841718 天前
基于Apache Cassandra与Python的数据建模及ETL实践
python·nosql·etl·数据建模·apachecassandra
想吃披萨19 天前
Kettle下载地址
etl
RestCloud20 天前
飞书多维表格落地新思路:ETL做数据导入,豆包做业务智能分析
数据仓库·飞书·etl·数据传输·api对接·豆包
鸽芷咕22 天前
金仓KES向量数据库实战:一条SQL干掉ETL,机器人不再把停产货当现货卖
数据库·sql·etl
RestCloud24 天前
从Kettle迁移到ETLCloud:作业转换、调度迁移与平滑过渡方案
etl·kettle·etlcloud·数据传输·数据同步·数据集成平台
RestCloud24 天前
不同系统集成:CRM系统与ERP、财务系统的数据双向同步
etl·crm·erp·数据集成·etlcloud·数据传输·数据同步
Patrick在香港25 天前
把 Claude 塞进 pandas 管道:7 条脏地址实测,5 条自动清洗、2 条被闸门拦下
python·pandas·etl·claude·数据清洗
RestCloud1 个月前
行业数据集成架构对比:金融、制造、政务三大场景的差异化设计
金融·架构·制造·etl·etlcloud·数据传输·数据集成平台