spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
GOWIN革文品牌咨询7 小时前
长周期B2B线索培育的系统设计:状态字段、触发器与转交条件
大数据·架构
程序员大阳7 小时前
副队长大数据教程(6)--四节点分布式集群搭建
大数据·分布式·集群·搭建·四节点
科技看点说7 小时前
SAP B1如何支撑高科技与精密制造?项目、物料、委外与成本管理解析
大数据·人工智能
马六六i7 小时前
目前知名的分布式Ai数智共享商城哪家好
人工智能·分布式
大鹏说大话8 小时前
分布式事务怎么选型?2PC、TCC、SAGA、本地消息表一次讲清
分布式
益莱储中国8 小时前
益莱储任命 Vincent Kwa为亚太区副总裁兼总经理
大数据·人工智能
ha_lydms9 小时前
Json Functions(JSON 函数)
大数据·hadoop·spark·json·数据处理·dataworks·maxcompute
171320330计算机毕设编程9 小时前
计算机毕业设计 基于Hadoop的新能源汽车发展前景分析 LW PPT
java·大数据·hadoop·python·算法·随机森林·线性回归
Pocker_Spades_A9 小时前
论文精读(十五):自主机器人多智能体软件架构及伴随行为机制:从Structure-in-5看启元机器人控制软件架构设计方法论
大数据·机器人
data analyse 4569 小时前
服务端统计时区切换的日期归并
大数据·前端·数据库·人工智能·数据分析