spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
QYR_117 小时前
2026年全球氧化锆增韧氧化铝陶瓷市场规模达1.63亿美元,高端制造需求驱动行业持续增长
大数据·人工智能
智圣新创019 小时前
重构沉浸式育人链路:智圣新创智慧学生社区平台建设的行业全域参考
大数据·人工智能·重构
ACP广源盛1392462567310 小时前
IX8024@ACP# 搭配此芯 AI 服务器 + 爱芯元智产品完整方案
大数据·运维·服务器·人工智能·分布式·嵌入式硬件
天行健,君子而铎10 小时前
2026年中国API安全产品综合排名:选型指南与技术趋势解析
大数据
李昊哲小课11 小时前
phoenix5.3.1整合hbase2.6.6
大数据·hbase·phoenix
qyr678911 小时前
全球新能源汽车电机驱动器市场深度调研报告
大数据·网络·人工智能·自动化·汽车
科技圈观察12 小时前
适合长期挂OpenClaw不关机的电脑有哪些?7×24小时稳定运行主机推荐
大数据·人工智能·科技
数字化老赵12 小时前
设备管理三好、四会、五律、五定,都是啥?
大数据·设备管理
李昊哲小课13 小时前
ubuntu26.04搭建kafka集群
分布式·kafka
阿里云大数据AI技术15 小时前
EMR Serverless Daft 如何简化多模态数据处理:视频抽帧、清洗、标注全流程与具身智能实践
人工智能·spark