spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
雨大王51213 小时前
国内外工业AI原生企业对比分析与实战案例解读
大数据
开源能源管理系统13 小时前
MyEMS开源能源管理系统:赋能石膏制品制造业绿色低碳转型与降本增效
大数据·开源·能源·能源管理系统·石膏
得赢科技13 小时前
2025年GEO营销应用白皮书 - 服务业区域推广深度剖析
大数据·人工智能
GIS数据转换器14 小时前
基于GIS的宠物救助服务平台
大数据·人工智能·科技·机器学习·无人机·智慧城市·宠物
Solar202514 小时前
工程材料企业如何借助数字化工具突破获客瓶颈:方法论与实践路径
大数据·人工智能·物联网
焦糖玛奇朵婷14 小时前
就医陪诊小程序|从软件开发视角看实用度✨
java·大数据·jvm·算法·小程序
【赫兹威客】浩哥14 小时前
【赫兹威客】完全分布式ZooKeeper测试教程
分布式·zookeeper·云原生
一晌小贪欢14 小时前
Python 魔术方法实战:深度解析 Queue 模块的模块化设计与实现
开发语言·分布式·爬虫·python·python爬虫·爬虫分布式
【赫兹威客】浩哥14 小时前
【赫兹威客】伪分布式Flink测试教程
大数据·分布式·flink
悟能不能悟15 小时前
什么是因果大模型
大数据·人工智能