spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
浩腾数字多媒体5 分钟前
如何判断专业电子留言厂家适配条件?
大数据·人工智能·python
阿里云大数据AI技术9 分钟前
从 Common Crawl 到可训练语料:用 EMR Serverless Daft 构建清洗、模型标注与向量化管线
人工智能·spark
@insist12318 分钟前
系统集成项目管理工程师-变更管理
大数据·软考·系统集成项目管理工程师·软考中项·软件水平考试
千里码aicood20 分钟前
基于深度学习的中文命名实体识别技术研究
大数据·深度学习·机器学习
小张同学a.1 小时前
MooseFS 分布式存储实战指南:部署、运维与 Pacemaker+SBD 高可用落地
linux·运维·分布式·pacemaker·moosefs·sbd
北京晶数信息科技1 小时前
加油机数据采集设备原厂 · OEM 定制 · 五位一体数据采集 · 成品油交易即开票全方案(一)
大数据·人工智能·物联网
TMT星球1 小时前
爱奇艺发布2026Q2财报:总收入62.9亿元 全力推进战略转型
大数据
凉凉的知识库2 小时前
一文讲清 Spark 集群队列:YARN 多租户、容量隔离与资源共享
大数据·spark·yarn
极新2 小时前
有怡科技携全球首款可变形本质人形机器人亮相2026世界机器人大会
大数据·科技·机器人
BYSJMG2 小时前
大数据毕业设计选题方向|【基于大数据的燃油消耗数据可视化与分析】Hadoop+PySpark+FP-Growth
大数据·hadoop·分布式·信息可视化·数据分析·课程设计