ETL-kettle数据转换使用详解

一、excel转换成mysql

表格就按照我们刚才转换的表格来转换成MySQL数据

  1. 在MySQL数据库中创建数据库,这个根据自身情况。我就在现有test库中测试了。

  2. 根据以上步骤,新建转换。

  3. 构建流程图,选择excel输入和表输出

  4. 将两个组件连接起来

  5. 双击表输入,文件选择源文件的位置,然后点击增加,在点击【工作表】,获取工作表名称,把标签移到右边

  6. 点击「字段」选项卡,点击「获取来自头部数据的字段...」按钮,Kettle会从Excel中读取第一行字段名称。

  7. 将 age 字段的格式设置为#,register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

  8. 点击「预览记录」按钮查看抽取到的数据。如果数据格式有我呢提,在调整格式

  9. 点击「确定」按钮并保存。

  10. 配置MySQL组件,双击表输出组件

    数据库连接这里 点击新建连接,配置数据库连接信息,点击测试连接,看是否成功,如果报错,看是否世缺少jdbc的驱动,去MySQL官网下载对应的驱动即可。


  11. 输入目标表的名称为:user,后续Kettle将在MySQL中创建一张名为 user 的表格。

  12. 点击下方的「SQL」按钮,可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

    我们将age和gender字段的数据类型改为INT类型。并点击执行按钮,会自动在MySQL数据库中创建该表。可以去数据库验证下。执行完之后,点击确定并保存组件信息。

  13. 保存并执行转换

  14. 查看数据,由于ID 数据过大,需要把属性换成 bigint

相关推荐
achi0101 天前
Apache Beam 详细入门指南
etl·批处理·流处理·apache beam·dataflow 模型·pcollection·批流融合
QEasyCloud20222 天前
企业数据仓库建设的技术架构与实施方法论
数据仓库·架构
淡定一生23333 天前
数据仓库建模方法
大数据·数据库·数据仓库
RestCloud3 天前
如何用ETL实现多租户数据库的数据隔离与整合
数据库·数据仓库·etl·etlcloud·数据同步·数据集成平台·数据库传输
千桐科技3 天前
数据仓库 vs 数据中台:从“数据库的豪华升级版”到“企业的数据操作系统”
数据库·数据仓库·数据治理·数据中台·数据资产·数据服务·qdata
Joy T3 天前
【大数据】离线数仓核心组件:Hive 架构解析与进阶操作指南
大数据·数据仓库·hive·hadoop·架构
麦聪聊数据4 天前
企业数据流通与敏捷API交付实战(一):ETL、CDC与API调用对比
数据库·数据仓库·低代码·restful·etl
RestCloud4 天前
2026年数据管道可观测性:ETL监控从被动告警到主动预警
数据仓库·数据安全·etl·数据集成·数据同步·数据监控
QEasyCloud20224 天前
企业数据仓库建设:架构设计与实施方法
数据仓库
泯仲5 天前
项目实践|ETL Pipeline 完整解析:从多源文档到向量库的全链路实现
数据仓库·agent·etl·rag