二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

一、目的

Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错

2024/02/19 10:04:46 - hive输入.0 - offending row : [day Date]

2024/02/19 10:04:46 - hive输入.0 -

2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 [Date] on prepared statement

2024/02/19 10:04:46 - hive输入.0 - Method not supported

二、Kettle任务步骤

三、报错详情

四、分析原因

(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错

(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型

之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型

select(

select
cast(day as varchar(50))

from hurys_dc_ads.ads_statistics_volume_1day

order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!

七、在ClickHouse中查验表数据

相关推荐
小牛头#1 天前
clickhouse 各个引擎适用的场景
大数据·clickhouse·机器学习
全干engineer1 天前
ClickHouse 入门详解:它到底是什么、优缺点、和主流数据库对比、适合哪些场景?
数据库·clickhouse
爱吃萝卜的猪1 天前
Clickhouse诊断工具之chdig
clickhouse
源图客1 天前
ClickHouse介绍与应用
clickhouse
码农周1 天前
ClickHouse 时间范围查询:精准筛选「本月数据」
clickhouse
积跬步,慕至千里4 天前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse
Edingbrugh.南空4 天前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
Edingbrugh.南空4 天前
ClickHouse 全生命周期性能优化
clickhouse·性能优化
Edingbrugh.南空5 天前
Flink ClickHouse 连接器:实现 Flink 与 ClickHouse 无缝对接
大数据·clickhouse·flink
Edingbrugh.南空5 天前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink