spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
可乐ea6 分钟前
Git 基础设施重建:智能体规模开发下的读写解耦
大数据·git·elasticsearch·分布式存储·git基础设施·智能体规模开发·读写解耦
2601_967212728 分钟前
智能供电轨道系统供应商技术筛选维度与选型指南
大数据·经验分享
EatFan11 分钟前
AI Agent Harness 元年:从框架混战到运行时收敛,2026 年 Agent 基础设施分层重构解读
大数据·人工智能·重构·ai agent·mcp·a2a·agent harness
瑞熙贝通实验室综合管理平台25 分钟前
实验动物中心|LAMS实验动物智慧管理系统标准解决方案|新一代合规化、智能化、全闭环实验动物中心数字化管控方案
大数据
Gu_WenYun27 分钟前
1+N 管家模式重塑家庭财富管理:本元家办的全周期实践路径
大数据·金融
2601_9603563841 分钟前
2027校招:数据科学与大数据技术专业应聘数字化解决方案顾问的能力准备清单
大数据
小师兄吃牛肉42 分钟前
Java 同步系列之 ZooKeeper 分布式锁
java·分布式·java-zookeeper
Aloudata43 分钟前
Metric Layer 建设指南:如何先从核心指标层启动企业语义工程
大数据·人工智能·数据分析·data agent·语义层
jerryinwuhan1 小时前
HV-DGTF数据治理框架
大数据·人工智能
零域码客1 小时前
RAG 和微调解决的是同一类问题吗?从大模型底层全链路拆解两者的本质与选择逻辑
大数据·人工智能·机器学习·模型微调·fine-tuning·检索增强生成·llm 架构