DM适配连接kettle迁移工具(资源库+数据源配置)

适配改造介绍及说明

  1. 本次修改基于8.2.0.0版本调整,在该源码基础上进行DM的适配,已支持DM为资源库的配置以及相关数据迁移。
  2. kettle资源库是Kettle ETL工具内置的一个资源库。配置好的数据库可以直接缓存到资源库当中;创建、编辑好的转换/作业脚本,可以直接保存到资源库中,不用担心丢失;如果是直接对服务器数据库进行ETL(Extract-Transform-Load, 数据抽取/转换/加载),设置好数据库资源库可以配置重复利用。

适配DM后的安装包

通过网盘分享的文件:pdi-ce-8.2.0.0-342_适配DM_20250117.zip

链接: https://pan.baidu.com/s/1KvPuQwIFHqNfvSnZq6s1qQ?pwd=b5ff 提取码: b5ff

启动软件

一定要放到纯英文目录下启动,否则不能新建资源库

新建DM的资源库

选择Other Repositories

创建连接数据源

初始化资源库所需要的表

登录DM数据库,查看资源库的表是否存在,R_开头的表都是

新建转换-新建连接

测试场景

测试之前先创建两个数据源

dm_dm的number类型数据迁移

涉及的表结构

sql 复制代码
CREATE TABLE "TEST1"
(
"SUMPAID" NUMBER(16,2),
"SUMVERIFY" NUMBER(16,2));

INSERT INTO "TEST1"("SUMPAID","SUMVERIFY")  VALUES(13908,13908.13);
INSERT INTO "TEST1"("SUMPAID","SUMVERIFY")  VALUES(0,0);
COMMIT;

新建组件

  1. 核心对象--->输入--->表输入
  2. 核心对象--->输出--->插入/更新

表输入的配置

点击表输入->右键编辑步骤 选择数据库连接 以及 SQL语句

插入/更新的配置

程序运行

附录

中文乱码如何解决

把kettle的默认字符集改成UTF-8,步骤:

1.打开Kettle的安装目录,找到data-integration文件夹

2.在data-integration文件夹中,找到spoon.sh (Linux/Mac) 或spoon.bat (Windows) 文件,用文本编辑器打开它

3.在文件中搜索以下行:

PENTAHO DI JAVA OPTIONS="-Xmx512m -XX:MaxPermSize=256m"

4.在这一行的末尾添加以下参数来设置字符集编码:

-Dfile.encoding=UTF-8

5.保存重启kettle

相关推荐
黑客思维者17 小时前
突破 Python 多线程限制:GIL 问题的 4 种实战解法
服务器·数据库·python·gil
l1t17 小时前
利用Duckdb求解Advent of Code 2025第5题 自助餐厅
数据库·sql·mysql·算法·oracle·duckdb·advent of code
驾数者17 小时前
Flink SQL关联查询:双流Join与维表Join实战技巧
数据库·sql·flink
njsgcs17 小时前
solidworks 二次开发 获取样条曲线bcurve的控制点
数据库
一 乐17 小时前
智慧养老|基于springboot+小程序社区养老保障系统设计与实现(源码+数据库+文档)
java·前端·数据库·vue.js·spring boot·后端·小程序
罗光记17 小时前
Solon AI 开发学习 7-chat - 四种消息类型及提示语增强
数据库·其他·百度·facebook·新浪微博
煎蛋学姐18 小时前
SSM社区志愿者服务系统d6d36(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·社区志愿者服务系统
语落心生18 小时前
解读广告数仓(二)数据架构与关键系统设计
数据库
冉冰学姐18 小时前
SSM实验室安全管理系统c03w5(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架应用·实验室安全管理·数字化管理系统
松☆18 小时前
OpenHarmony + Flutter 混合开发实战:构建高性能离线优先的行业应用(含 SQLite 与数据同步策略)
数据库·flutter·sqlite