二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

一、目的

Kettle任务是从Hive的DWS层库表同步数据到ClickHouse的ADS库表中,里面是根据day字段进行增量导入数据,结果运行报错

2024/02/19 10:04:46 - hive输入.0 - offending row : day Date

2024/02/19 10:04:46 - hive输入.0 -

2024/02/19 10:04:46 - hive输入.0 - Error setting value #1 Date on prepared statement

2024/02/19 10:04:46 - hive输入.0 - Method not supported

二、Kettle任务步骤

三、报错详情

四、分析原因

(一)由于Hive表中的分区字段day是String类型,因此在Hive输入控件中需要转换字段类型cast(day as varchar(50))

但还是运行报错

(二)最后发现,不仅在Hive输入控件中需要转换day字段类型,前面newtime步骤也需要转换day字段类型

之前newtime步骤没有转换day字段类型!!! 这就是报错原因

五、修改newtime步骤的day字段类型

select(

select
cast(day as varchar(50))

from hurys_dc_ads.ads_statistics_volume_1day

order by day desc limit 1) as day

六、修改后再次运行Kettle任务

运行成功!

七、在ClickHouse中查验表数据

相关推荐
java_logo3 天前
Docker Compose 部署 ClickHouse:快速搭建高性能列式数据库
数据库·clickhouse·docker·列式数据库·轩辕镜像·高性能数据库·clickhouse部署教程
ClickHouseDB4 天前
TPC-H 成本不到一分钱:ClickHouse Cloud 对比 Snowflake、Databricks、BigQuery 和 Redshift
clickhouse
humbinal5 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
隔壁阿布都7 天前
ClickHouse完整指南
服务器·数据库·clickhouse
数据库小学妹8 天前
MySQL做报表太慢?引入ClickHouse列式存储,同一个查询快240倍
mysql·clickhouse·列式存储·分析型数据库·向量化执行·olap数据库·mysql对比
吾AI科技8 天前
基于Tez引擎的 Hive SQL 性能优化
大数据·hive·性能优化·tez
abcy0712139 天前
hive 执行器原理
hive
香山上的麻雀100810 天前
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解
数据仓库·hive·hadoop
ClickHouseDB12 天前
推出 ClickHouse Cloud 中的多阶段分布式查询执行
分布式·clickhouse
jjjava2.013 天前
SpringMVC入门指南:从零掌握核心要点
数据仓库·hive·hadoop