spark 写入 hudi时数据类型报错

报错信息如下:

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: [final_total_amount], Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法:

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

相关推荐
9ilk34 分钟前
【仿RabbitMQ的发布订阅式消息队列】 ---- 功能测试联调
linux·服务器·c++·分布式·学习·rabbitmq
周杰伦_Jay1 小时前
【RPC:分布式跨节点透明通信协议】【Raft:简单易实现的分布式共识算法】
分布式·rpc·共识算法
鲸能云1 小时前
政策解读 | “十五五”能源规划下储能发展路径与鲸能云数字化解决方案
大数据·能源
嗝屁小孩纸2 小时前
免费测评RPC分布式博客平台(仅用云服务器支持高性能)
服务器·分布式·rpc
Alex艾力的IT数字空间2 小时前
完整事务性能瓶颈分析案例:支付系统事务雪崩优化
开发语言·数据结构·数据库·分布式·算法·中间件·php
五度易链-区域产业数字化管理平台2 小时前
五度易链大数据治理实战:从数据孤岛到智能决策
大数据
激动的小非2 小时前
电商数据分析报告
大数据·人工智能·数据分析
ITVV2 小时前
湖仓一体部署
大数据·数据湖·湖仓一体
ANYOLY3 小时前
RabbitMQ 核心知识点
分布式·rabbitmq