spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
Apache Flink4 分钟前
Apache Flink Agents 0.2.1 发布公告
大数据·flink·apache
首席数智官6 分钟前
AI CRM 2.0时代:SaaS厂商的生死局
大数据·人工智能·物联网
珠海西格电力9 分钟前
零碳园区能源互联技术路径适配方案的成本效益分析
大数据·人工智能·架构·智慧城市·能源
想你依然心痛16 分钟前
HarmonyOS 5.0医疗健康APP开发实战:基于多模态感知与分布式急救协同的智慧健康监测系统
分布式·华为·harmonyos
半桶水专家22 分钟前
Kafka Topic 管理命令 kafka-topics.sh 详解
分布式·kafka
Gent_倪25 分钟前
Spark2.4新增的函数UDF实践
spark
尽兴-28 分钟前
Elasticsearch 高可用集群架构:Master 选举、Shard 分配与容灾设计
大数据·elasticsearch·架构·集群·节点·可视化工具·分片
Elastic 中国社区官方博客33 分钟前
从 Elasticsearch runtime fields 到 ES|QL:将传统工具适配到当前技术
大数据·数据库·sql·elasticsearch·搜索引擎·全文检索
沫儿笙38 分钟前
KUKA库卡焊接机器人智能节气仪
大数据·人工智能·机器人
Jane - UTS 数据传输系统1 小时前
从 WDO 成立看跨境数据同步:架构设计、技术拆解与最佳实践
大数据·数据库·国产替代·wdo·跨境数据同步·数据异构