spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
baopixiaoz4 分钟前
AI量化策略师|Web3 量化交易研究员
大数据·人工智能·python·区块链
IT古董5 分钟前
【WMS学习笔记系列】01-需求分析
大数据·数据库
成长之路51419 分钟前
【数据集】MD&A管理层讨论与分析文本(2001-2025年)
大数据
浅念-2 小时前
MySQL 索引底层完整详解|磁盘Page|B+树推导|聚簇非聚簇索引|索引SQL操作
大数据·数据库·b树·sql·mysql·面试·职场和发展
小马过河R2 小时前
数据仓库入门:是什么、怎么做、和数据库有什么区别?
大数据·数据库·数据仓库·架构·驾驭工程·fde
leisoo80972 小时前
涨停板次日表现因子怎么挖掘本地化Python全流程实战
大数据·人工智能·python
用户3610588626122 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·spark
用户3610588626123 小时前
SparkSQL 之 DataFrame 与 DataSet 及实操演练
大数据·spark
GEO_youxuan4 小时前
AI财务分析软件到底是“自动出表“还是“决策推演“?从自动出表到决策推演的能力分层与选型逻辑
大数据·人工智能
星如雨グッ!(๑•̀ㅂ•́)و✧5 小时前
大模型知识点总结01
大数据·ai