spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
spider_xcxc19 小时前
Argo CD App of Apps 模式深度解析:像管理应用一样管理应用
大数据·数据库·elasticsearch
珠***格20 小时前
分布式光伏电站:四可装置如何实现 “可观、可测、可控、可调”
网络·人工智能·分布式·架构·能源
奥莱维20 小时前
酒店客房智能控制如何提升睡眠与入住体验
大数据·人工智能
greenbbLV21 小时前
中小公司积分商城选型:SaaS与私有化优劣对比分析
大数据·运维·人工智能
希艾席帝恩21 小时前
数字孪生赋能智慧物流:物流行业转型升级新路径
大数据·人工智能·低代码·ai·数字化转型
L1624761 天前
消息队列(MQ)总览:RabbitMQ & Kafka 完整手册
分布式·kafka·rabbitmq
阿里云大数据AI技术1 天前
EMR Serverless Spark 基于 MinHash-LSH 实现 PB 级文本语义去重 4 倍加速
大数据·人工智能·spark
阿里云大数据AI技术1 天前
阿里云 Hologres 登顶 TPC-H 3TB 基准测试榜单,性价比第一
大数据·人工智能
万岳软件开发小城1 天前
同城跑腿系统源码功能开发详解:用户端、骑手端、管理后台有哪些核心模块?
大数据·跑腿小程序开发·同城跑腿系统源码·跑腿app开发·跑腿平台搭建
2603_954708311 天前
什么是微能网?新型电力系统下园区能源转型新范式
大数据·人工智能·物联网·能源