spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
humors2215 小时前
突破学习瓶颈:十个需要克服的障碍
大数据·学习·程序人生
试剂界的爱马仕6 小时前
《古董局·终局5:潮生》第 2 章:镜子的天赋
大数据·人工智能·算法
Evand J6 小时前
【MATLAB控制例程】(9)多无人机编队协同控制与三维轨迹规划仿真,附下载链接
开发语言·分布式·matlab·无人机·控制
Rocktech_ruixun6 小时前
从场景落地到技术迭代:服务机器人迈入规模化商用爆发期
大数据·人工智能
商业模式源码开发6 小时前
城市酷选排队免单模式深度拆解:从1.0到6.0的演进逻辑与行业启示
大数据·流量运营·私域流量
爱怪笑的小杰杰6 小时前
Leaflet 高性能大数据量图圆:彻底解决缩放/拖拽偏移问题
大数据·前端·vue.js·贴图
WL_Aurora7 小时前
大数据技术之SparkCore
大数据·前端·spark·rdd
JAVA学习通7 小时前
《大营销平台系统设计实现》 - 营销服务 第6节:抽奖中置规则过滤
大数据
工业机器人销售服务7 小时前
不锈钢制品美容焊手:法奥机器人施焊成型焊缝色泽均匀,防腐性能与母材保持一致
大数据·人工智能
code 小楊7 小时前
2026两大新王对决:Qwen3\.7\-Max vs Gemini 3\.5 Flash 全维度深度测评(能力、对比、选型、优劣)
大数据·人工智能