ETL-kettle数据转换使用详解

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库,这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤,新建转换。

  3. 构建流程图,选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入,文件选择源文件的位置,然后点击增加,在点击【工作表】,获取工作表名称,把标签移到右边

  6. 点击「字段」选项卡,点击「获取来自头部数据的字段...」按钮,Kettle会从Excel中读取第一行字段名称。

  7. 将 age 字段的格式设置为#,register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提,在调整格式

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件,双击表输出组件

    数据库连接这里 点击新建连接,配置数据库连接信息,点击测试连接,看是否成功,如果报错,看是否世缺少jdbc的驱动,去MySQL官网下载对应的驱动即可。


  11. 输入目标表的名称为:user,后续Kettle将在MySQL中创建一张名为 user 的表格。

  12. 点击下方的「SQL」按钮,可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮,会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后,点击确定并保存组件信息。

  13. 保存并执行转换

  14. 查看数据,由于ID 数据过大,需要把属性换成 bigint

相关推荐
哥本哈士奇2 小时前
数据仓库笔记 第二篇:PSA 层(持久化暂存区)详解
数据仓库
juniperhan16 小时前
Flink 系列第17篇:Flink Table&SQL 核心概念、原理与实战详解
大数据·数据仓库·分布式·sql·flink
QEasyCloud20221 天前
企业数据仓库建设实践与价值分析
数据仓库
地球资源数据云2 天前
1951-2025年中国逐年1千米逐月总降水量区域统计数据集_年表_县
大数据·数据结构·数据库·数据仓库·人工智能
SelectDB技术团队2 天前
Apache Doris 4.1:面向 AI & Search 的统一数据存储与检索底座
数据库·数据仓库·实时分析·selectdb
juniperhan2 天前
Flink 系列第16篇:Flink 核心数据类型类详解(POJO、Row、Tuple)
java·大数据·数据仓库·分布式·flink
RestCloud3 天前
TiDB 混合负载场景下的 ETL 与 CDC 实践
数据仓库·tidb·etl·cdc·数据同步·数据库传输
AllData公司负责人4 天前
AllData数据中台通过开源项目RustFS建设现代数据湖存储,接入工业, 医疗, 物联网数据,包括文件/图像/音频/视频数据!
数据库·数据仓库·物联网·开源·数据存储·数据接入·rustfs
RestCloud4 天前
2026年数据集成三大趋势:从批处理到实时事件驱动
ai·etl·cdc·数据传输·数据同步·数据集成平台·集成平台
juniperhan4 天前
Flink 系列第14篇:Flink Metrics 监控指标详解(生产环境版)
大数据·数据仓库·分布式·flink