spark 写入 hudi时数据类型报错

报错信息如下:

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: [final_total_amount], Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法:

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

相关推荐
风随心飞飞1 小时前
RabbitMQ 安装延迟队列插件 rabbitmq_delayed_message_exchange
分布式·rabbitmq
web130933203981 小时前
RabbitMQ 篇-深入了解延迟消息、MQ 可靠性(生产者可靠性、MQ 可靠性、消费者可靠性)
数据库·分布式·rabbitmq
Elastic 中国社区官方博客2 小时前
使用 Spring AI + Elasticsearch 让 RAG 变得简单
java·大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
青云交3 小时前
大数据新视界 -- Hive 查询性能优化:索引技术的巧妙运用(下)(6/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
java1234_小锋4 小时前
在并发情况下,Elasticsearch如果保证读写一致?
大数据·elasticsearch·搜索引擎
MXsoft6184 小时前
基于Dell Idrac7的服务器硬件监控指标解读
大数据·运维
锵锵锵锵~蒋5 小时前
实时数据开发 | Flink反压机制原因、影响及解决方案
大数据·flink
重生之绝世牛码5 小时前
Java设计模式 —— 【创建型模式】原型模式(浅拷贝、深拷贝)详解
java·大数据·开发语言·设计模式·原型模式·设计原则
Sui_Network5 小时前
Panzerdogs 游戏宣布将在 SuiPlay0X1 上线
大数据·人工智能·游戏·web3·区块链
大数据编程之光6 小时前
Hadoop Namenode与Resourcemanager高可用搭建教程
大数据·hadoop·分布式