spark 写入 hudi时数据类型报错

报错信息如下:

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: final_total_amount, Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法:

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

相关推荐
用户14944848132022 分钟前
为什么大厂很少直接用 2PC/TCC?聊聊分布式事务在真实业务里的落地套路
分布式·后端
千桐科技32 分钟前
大模型落地不“纸上谈兵”:qKnow专业版用原生MCP为AI装上“手脚”
大数据·人工智能·qknow
小天源36 分钟前
智叟云集系统适用场景与业务实践
大数据·人工智能
考拉讲支付40 分钟前
分账系统怎么对接?从零搭建平台分账体系的完整技术指南
大数据
财税数字化1 小时前
日韩泰票据与欧美发票混合入账怎么选?开灵科技与海外厂商优劣势对比
大数据·人工智能·科技·ocr·软件选型·票据识别
数字新视界1 小时前
信创机房动环监控的核心功能与智能运维管理实践
大数据·物联网·信息可视化·信息与通信·一体化机柜
renhongxia11 小时前
RAG检索增强生成:打通大模型与外部知识的通道
大数据·人工智能·算法
QYR-分析2 小时前
2.80 亿增至 4.12 亿美元,CAGR5.6%:肌电诱发电位仪稳健扩容,神经电生理检测设备加速走向便携与数字化
大数据·网络·人工智能
宇哥(mf️取5r)2 小时前
环评验收屡次卡壳,模块化危废间该如何匹配新标准?
大数据·人工智能·制造
code_slave(码畜)2 小时前
微服务架构落地:分库分表实战(下) —— 分布式主键、跨分片查询与分页聚合防坑
数据库·spring boot·分布式·spring cloud·微服务·架构·分库分表