spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
TDengine (老段)12 分钟前
TDengine IDMP 数据可视化——散点图
大数据·数据库·物联网·信息可视化·时序数据库·tdengine·涛思数据
王九思36 分钟前
Thrift Server 介绍
大数据·系统架构·运维开发
梦想的旅途241 分钟前
企业微信API:外部群自动化推送实战指南
大数据·机器人·自动化·企业微信·rpa
zxfBdd1 小时前
Error:scala: No ‘scala-library*.jar‘ in Scala compiler classpath in Scala SDK
大数据·scala·jar
AI猫站长2 小时前
快讯|灵心巧手融资15亿计划2026年交付5-10万台灵巧手,Linker Hand系列覆盖多种技术路线
大数据·人工智能·机器人·具身智能·灵心巧手
清 晨2 小时前
知识产权投诉增多跨境卖家如何构建图片文案证据链
大数据·人工智能·跨境电商·亚马逊·内容营销
汽车仪器仪表相关领域2 小时前
中小型储能/轻型电动车电池管理中枢:BMS-100型电池管理系统 全场景实战全解
大数据·网络·人工智能
xhaoDream2 小时前
Hive3.1.3 配置 Tez 引擎
大数据·hive·tez
Asher05092 小时前
Spark核心基础与架构全解析
大数据·架构·spark
happyboy19862112 小时前
2026 大专大数据专业报考条件是什么?
大数据