Pentaho Kettle 9.4 实战:SQL Server 数据同步到 MySQL详细手册,附详细手册

一、 前置准备 (一次性操作)

  1. 放置数据库驱动

    • SQL Server: 下载 mssql-jdbc-11.2.1.jre11.jar放入 {Kettle安装目录}/data-integration/lib/

    • MySQL: 下载 mysql-connector-j-8.2.0.jar放入相同目录

    • 重启 Spoon​ 生效

  2. MySQL 创建目标表​ (可选):

    复制代码
    复制代码
    复制代码
    -- 轮齿厂电表数据结构示例
    CREATE TABLE `tk_fc_01` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
      `gmt_create` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
      `gmt_time` datetime DEFAULT NULL COMMENT '采集时间',
      `db1_a06` decimal(13,6) DEFAULT NULL,
      `db1_a07` decimal(13,6) DEFAULT NULL,
      `db1_a09` decimal(13,6) DEFAULT NULL,
      `db1_a13` decimal(13,6) DEFAULT NULL,
      `db1_a25` decimal(13,6) DEFAULT NULL,
      `db1_a27` decimal(13,6) DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

二、 图形化配置步骤 (5分钟完成)

步骤1:新建转换

  • 启动 Spoon → 文件 → 新建 → 转换

  • 保存为 sqlserver2mysql.ktr

步骤2:创建数据库连接

主对象树 → 转换 → DB 连接 → 新建

  1. SQL Server 连接

    • 连接名称:SQLServer

    • 连接类型:MS SQL Server (Native)

    • 主机名:192.168.1.2

    • 端口:1433

    • 数据库:IOT

    • 用户名/密码:sa/ 123456

    • 选项参数:useUnicode=true&characterEncoding=utf8

  2. MySQL 连接

    • 连接名称:MySQL

    • 连接类型:MySQL

    • 主机名:192.168.1.3

    • 端口:3306

    • 数据库:iot

    • 用户名/密码:root/ 123456

    • 选项参数:useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai

分别点击"测试",确保连接成功

步骤3:拖入核心步骤

  1. 表输入​ (读取SQL Server)

    • 从"核心对象 → 输入"拖拽"表输入"到画布

    • 双击配置:

      • 数据库连接:选择 SQLServer

      • SQL语句:

      复制代码
      复制代码
      复制代码
      -- 获取前一天数据 (每日凌晨同步用)
      SELECT 
          a.Time AS 'gmt_time',
          a.[DB\DB1\A06] AS 'db1_a06',
          a.[DB\DB1\A07] AS 'db1_a07',
          a.[DB\DB1\A09] AS 'db1_a09',
          a.[DB\DB1\A13] AS 'db1_a13',
          a.[DB\DB1\A25] AS 'db1_a25',
          a.[DB\DB1\A27] AS 'db1_a27'
      FROM LK_FC_01 a 
      WHERE a.Time >= DATEADD(DAY, -1, CAST(GETDATE() AS DATE))  -- 昨天00:00:00
        AND a.Time < CAST(GETDATE() AS DATE);                    -- 今天00:00:00
    • 点击"预览"确认数据正确

  2. 表输出​ (写入MySQL)

    • 从"核心对象 → 输出"拖拽"表输出"到画布

    • 双击配置:

      • 数据库连接:选择 MySQL

      • 目标表:tk_fc_01

      • 勾选"指定数据库字段"

      • 点击"映射"按钮,将源字段拖到目标字段

      • 注意:idgmt_create字段不映射 (MySQL自动生成)

步骤4:连线运行

  1. 按住 Shift键,从"表输入"拖拽到"表输出"

  2. 选择"主输出步骤"

  3. 工具栏点击 ▶ "运行" → "启动"

  4. 查看日志窗口,显示"转换完成!写入行数:XXX"

三、 自动定时执行 (Windows系统)

1. 创建批处理脚本

新建 sqlserver2mysql.bat

复制代码
复制代码
复制代码
@echo off
REM 切换到Kettle安装目录
D:
cd D:\tools\data-integration
REM 执行转换,日志输出到文件
pan.bat /file=C:\kettle_jobs\sqlserver2mysql.ktr /level=Basic >> C:\kettle_jobs\kettle.log 2>&1

2. 配置任务计划程序

  1. Win + R→ 输入 taskschd.msc

  2. 右侧"创建基本任务"

  3. 任务名称:"每日Kettle同步"

  4. 触发器:每日,设置时间 (如 00:10)

  5. 操作:"启动程序"

  6. 程序/脚本:选择上面创建的 .bat文件

  7. 完成创建,可右键"运行"测试

四、 验证与监控

  1. 数据验证

    复制代码
    复制代码
    复制代码
    -- MySQL中检查最新同步数据
    SELECT * FROM tk_fc_01 
    ORDER BY gmt_time DESC 
    LIMIT 10;
  2. 错误排查

    • 查看 kettle.log日志文件

    • 检查 Spoon 日志窗口错误信息

    • 验证数据库连接和权限

五、 注意事项

  1. 首次运行前,务必确认驱动已放入 lib 目录并重启

  2. SQL Server 字段包含反斜杠,需要用方括号转义

  3. MySQL 表的主键和创建时间字段会自动填充,无需映射

  4. 定时任务的时间需避开业务高峰期

  5. 建议在测试环境验证后再部署到生产环境

此配置可实现每日自动同步前一天数据,无需编写代码,完全图形化操作。

详细文档访问地址:http://www.zrscsoft.com/sitepic/12164.html

相关推荐
Crystal3284 分钟前
【终极指南】前端方面解决 uni-app APP 端 SSE 流式请求被缓冲拦截、无法实时渲染的问题
android·前端·ai编程
陆业聪1 小时前
技术选型决策树:什么团队、什么项目该选什么框架 | 跨平台框架深度对决(4)
android·架构设计
JohnnyDeng942 小时前
Kotlin 协程原理与 Android 中的最佳实践
android·kotlin·协程
Aleyn3 小时前
用 KSP 给 Navigation 3 加一层「跨模块路由」:nav3-helper 设计与使用
android·android jetpack·composer
GeekBug3 小时前
Claude Code 如何帮我写 80% 的 Android 样板代码
android·claude
dora3 小时前
手把手带你实现一个Android抽卡集图鉴功能
android
海雅达手持终端PDA3 小时前
海雅达Model 10X—高通6490工业三防平板,生产制造仓储管理应用
android·物联网·能源·制造·信息与通信·交通物流·平板
liu_sir_3 小时前
安卓设置界面-关于手机修改为关于设备
android·大数据·elasticsearch
new_bie_B3 小时前
Android16 应用安装流程源码分析
android
帅次3 小时前
LazyColumn 懒加载、items 与 key
android·flutter·kotlin·android studio·webview