spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
南方略咨询7 分钟前
南方略咨询:环保行业进入深水区,营销管理能力正在拉开企业差距
大数据·人工智能
RPA机器人就选八爪鱼30 分钟前
RPA在银行IT运维领域的应用场景与价值分析
大数据·运维·数据库·人工智能·机器人·rpa
嘉禾望岗5031 小时前
spark算子类型
大数据·分布式·spark
CICI131414131 小时前
藦卡机器人:让焊接更洁净、更精准、更智能
大数据·人工智能
一直在追1 小时前
别再用 Java 多线程思维写 Python 了!Asyncio 才是 LLM 高并发的王道
大数据
大厂技术总监下海1 小时前
来自美团生产环境的实战派:开源CAT监控,如何保障超大规模分布式系统可观测性?
分布式·开源
短视频矩阵源码定制1 小时前
矩阵系统源头厂家
大数据·人工智能·矩阵
Linux Huang1 小时前
spring注册组件/服务无效,问题排查
大数据·服务器·数据库·spring
天竺鼠不该去劝架2 小时前
传统财务管理瓶颈:财务机器人如何提升效率
大数据·数据库·人工智能
WZGL12302 小时前
“近邻+数智”:解码智慧养老的温情答案
大数据·人工智能·科技·生活·智能家居