二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

一、目的

Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错

2024/02/19 10:04:46 - hive输入.0 - offending row : [day Date]

2024/02/19 10:04:46 - hive输入.0 -

2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 [Date] on prepared statement

2024/02/19 10:04:46 - hive输入.0 - Method not supported

二、Kettle任务步骤

三、报错详情

四、分析原因

(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错

(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型

之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型

select(

select
cast(day as varchar(50))

from hurys_dc_ads.ads_statistics_volume_1day

order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!

七、在ClickHouse中查验表数据

相关推荐
佐伊232 天前
SQL优化剧场:当Hive/MaxCompute遇上数据倾斜的十二种剧情
hive·sql优化·maxcompute·数据倾斜
Amber勇闯数分2 天前
【Hive】基于物品协同过滤 [ ItemCF ] 推荐课程-余弦相似度计算
大数据·数据仓库·hive·hadoop·矩阵
努力有什么不好2 天前
SparkSQL如何查询外部hive数据
数据仓库·hive·hadoop
yumgpkpm2 天前
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU
hive·hadoop·华为·flink·spark·kafka·hbase
無森~2 天前
HBase与MR、Hive整合
hive·hbase·mr
麦兜和小可的舅舅2 天前
ClickHouse 一次Schema修改造成的Merge阻塞问题的分析和解决过程
clickhouse
Gain_chance3 天前
32-学习笔记尚硅谷数仓搭建-DWD层首日数据装载脚本及每日数据装载脚本
大数据·数据仓库·hive·笔记·学习
Gain_chance3 天前
29-学习笔记尚硅谷数仓搭建-DWD层交易域下单事务事实表和交易域支付成功事务事实表
数据仓库·hive·笔记·学习·datagrip
TTBIGDATA4 天前
【Ranger】Ambari开启Kerberos 后 ,Ranger 中 Hive 策略里,Resource lookup fail 线程池超时优化
大数据·数据仓库·hive·hadoop·ambari·hdp·ranger
bigdata-rookie6 天前
StarRocks(2.5.1)vs Clickhouse(21.7.3.14)集群 SSB 性能测试
clickhouse