一、目的
Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错
2024/02/19 10:04:46 - hive输入.0 - offending row : [day Date]
2024/02/19 10:04:46 - hive输入.0 -
2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 [Date] on prepared statement
2024/02/19 10:04:46 - hive输入.0 - Method not supported
二、Kettle任务步骤

三、报错详情

四、分析原因
(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错
(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型
之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型
select(
select
cast(day as varchar(50))
from hurys_dc_ads.ads_statistics_volume_1day
order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!
七、在ClickHouse中查验表数据
