二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

一、目的

Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错

2024/02/19 10:04:46 - hive输入.0 - offending row : [day Date]

2024/02/19 10:04:46 - hive输入.0 -

2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 [Date] on prepared statement

2024/02/19 10:04:46 - hive输入.0 - Method not supported

二、Kettle任务步骤

三、报错详情

四、分析原因

(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错

(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型

之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型

select(

select
cast(day as varchar(50))

from hurys_dc_ads.ads_statistics_volume_1day

order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!

七、在ClickHouse中查验表数据

相关推荐
core5121 天前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇2 天前
Hive基础简介
数据仓库·hive·hadoop
像豆芽一样优秀3 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
howard20054 天前
VMWare上搭建Hive集群
hive·hadoop
MMMMMMMMMMemory5 天前
clickhouse迁移工具clickhouse-copier
clickhouse
securitor5 天前
【clickhouse】设置密码
clickhouse
程序猿 董班长5 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
XueminXu6 天前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
天道有情战天下7 天前
ClickHouse使用Docker部署
clickhouse·docker·容器