Kettle多张表数据抽取操作步骤

一、环境准备

  1. 安装Kettle(PDI)

◦ 下载Pentaho Data Integration (Kettle)

◦ 解压并启动Spoon图形界面


二、创建转换流程

1、把需要抽取的表名称复制至 Excel 表格,将表头定义为"table_name",如下图所示:

新建excel

2、创建转换 a,同时进行 Excel 输入的创建操作,具体情形如下图所示:

复制结果到记录,具体情况如下图所示:

3、创建转换b

从结果获取记录,如下图:

设置变量,如下图

4、创建转换c

创建数据库连接,如下图(如果需要在其他转换中使用,可以在配置好的数据库连接信息上右键共享):

创建表输入,如下图:

创建表输出,如下图:

5、创建作业1

配置第一个转换

配置第二个转换

最终如下图:(创建完可以执行,看是否报错)

作业1

6、创建作业

创建作业,如下图:

作业信息配置

最终如下图:

最终结果


三、执行与调度

立即执行测试

  1. 点击运行按钮(▶)

  2. 选择"本地执行"

  3. 查看执行结果和日志


四、常见问题解决

  1. 数据库连接失败
  • 检查JDBC驱动是否放入lib文件夹
  • 验证连接字符串和权限

2、字段映射错误

  • 使用"字段选择"统一字段名
  • 检查数据类型兼容性
相关推荐
科技小花1 小时前
全球化深水区,数据治理成为企业出海 “核心竞争力”
大数据·数据库·人工智能·数据治理·数据中台·全球化
X56612 小时前
如何在 Laravel 中正确保存嵌套动态表单数据(主服务与子服务)
jvm·数据库·python
虹科网络安全3 小时前
艾体宝干货|数据复制详解:类型、原理与适用场景
java·开发语言·数据库
RestCloud4 小时前
ETL数据质量保障:如何通过优化提升数据准确性?
数据仓库·etl·数据处理·数据传输·数据同步·数据集成平台
2301_771717214 小时前
解决mysql报错:1406, Data too long for column
android·数据库·mysql
小江的记录本4 小时前
【Kafka核心】架构模型:Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica
java·数据库·分布式·后端·搜索引擎·架构·kafka
dvjr cloi4 小时前
MySQL Workbench菜单汉化为中文
android·数据库·mysql
dFObBIMmai5 小时前
MySQL主从同步中大事务导致的延迟_如何拆分大事务优化同步
jvm·数据库·python
szccyw05 小时前
mysql如何限制特定存储过程执行权限_MySQL存储过程安全访问
jvm·数据库·python
czlczl200209255 小时前
利用“延迟关联”优化 MySQL 巨量数据的深分页查询
数据库·mysql