spark 写入 hudi时数据类型报错

报错信息如下:

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: [final_total_amount], Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法:

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

相关推荐
G皮T4 小时前
【Elasticsearch】正排索引、倒排索引(含实战案例)
大数据·elasticsearch·搜索引擎·kibana·倒排索引·搜索·正排索引
菜鸟康4 小时前
C++实现分布式网络通信框架RPC(3)--rpc调用端
分布式·网络协议·rpc
小葛呀6 小时前
互联网大数据求职面试:从Zookeeper到数据挖掘的技术探讨
大数据·redis·zookeeper·面试·互联网·数据采集·技术栈
代码丰6 小时前
使用Spring Cloud Stream 模拟生产者消费者group destination的介绍(整合rabbitMQ)
java·分布式·后端·rabbitmq
T06205147 小时前
【面板数据】A股上市公司注册地所在地数据集(1991-2023年)
大数据
zh_199958 小时前
Spark面试精讲(上)
java·大数据·数据仓库·python·spark·数据库开发·数据库架构
淡酒交魂8 小时前
「Flink」Flink项目搭建方法介绍
大数据·数据挖掘·数据分析
袋鼠云数栈8 小时前
当空间与数据联动,会展中心如何打造智慧运营新范式?
大数据·人工智能·信息可视化
Python当打之年9 小时前
【62 Pandas+Pyecharts | 智联招聘大数据岗位数据分析可视化】
大数据·python·数据分析·pandas·数据可视化
G皮T9 小时前
【Elasticsearch】Elasticsearch 近实时高速查询原理
大数据·elasticsearch·搜索引擎·全文检索·倒排索引·搜索·nrt