spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
AgentMaster7 小时前
零售行业智能客服系统怎么选?3 大场景落地与 4 款平台对比实践
大数据·人工智能·算法
跨境小彭7 小时前
多店铺运营实践:基于轻量 ERP 的定时自动化任务使用记录
大数据·自动化·跨境电商·temu
远航计算机7 小时前
客服记录怎么变成 AI 会引用的内容?五步清洗法
大数据·人工智能·算法·aigc
字节跳动数据平台7 小时前
把矩阵计算留在数据旁边:Xeon AMX 如何加速 LanceDB 与 AI 数据湖
大数据
玩美数据7 小时前
精选全球市场研究服务网络对比,帮助企业精准筛选并快速实现海外落地
大数据
码流子8 小时前
几万路监控怎么接:高速公路视频汇聚平台的架构设计与落地坑点
大数据·人工智能·物联网·算法·架构
会编程的李较瘦8 小时前
Spark On Yarn 集群搭建
大数据·spark
NailiConveyor8 小时前
智能物流装备市场的技术观察|输送设备应用与自动化渗透|仓储物流装备的数据分析
大数据·自动化·业界资讯
2601_960356388 小时前
2026届用户分析师校招能力栈:SQL、指标体系、BI与AI分析
大数据
YangYang9YangYan9 小时前
资金分析校招 JD 拆解,现金流建模与数据分析能力怎么准备
大数据·人工智能·数据分析