二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

一、目的

Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错

2024/02/19 10:04:46 - hive输入.0 - offending row : [day Date]

2024/02/19 10:04:46 - hive输入.0 -

2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 [Date] on prepared statement

2024/02/19 10:04:46 - hive输入.0 - Method not supported

二、Kettle任务步骤

三、报错详情

四、分析原因

(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错

(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型

之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型

select(

select
cast(day as varchar(50))

from hurys_dc_ads.ads_statistics_volume_1day

order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!

七、在ClickHouse中查验表数据

相关推荐
孤雪心殇13 小时前
快速上手数仓基础知识
数据仓库·hive·spark
狼与自由16 小时前
安装使用clickhouse
clickhouse
隐于花海,等待花开20 小时前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
麦兜和小可的舅舅2 天前
ClickHouse 列管理机制解析:从 COW、IColumn 到 CRTP
c++·clickhouse
看海的四叔2 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
zhangjin12223 天前
kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel
excel·kettle·kettle excel插件·kettle 动态excel
顾随4 天前
(二)kettle--输入与输出
javascript·数据库·kettle
曹牧4 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop
隐于花海,等待花开7 天前
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析
大数据·hive
隐于花海,等待花开7 天前
17.DATE_FORMAT 函数深度解析
大数据·hive