spark,读取和写入同一张表问题

读取a表,写入a表

1.写入的是分区表,不报错

2.读取上来之后,创建为临时视图temp,然后先写入a表,再使用temp,就会报错

解决办法:可以先使用temp,再写入a表

3.写入的不是分区表,会报错

解决办法:先把数据收集到Driver,创建临时视图,再写入a表

4.万能解决办法:先把数据收集到Driver,创建临时视图,再写入a表

java 复制代码
Dataset<Row> dataset = spark.sql(get_new_id_Sql());

StructType schema = dataset.schema();

List<Row> rows = dataset.collectAsList();

spark.createDataFrame(rows, schema).createOrReplaceTempView("all_data");
sql 复制代码
insert overwrite table ods.a
select * from all_data

可能的原因:spark是移动数据不如移动计算,所以数据的路径还是a表,如果收集到Driver,路径就不是a表了

相关推荐
heimeiyingwang3 分钟前
从 0 到 1:企业 AI 战略规划与落地路线图
大数据·人工智能
海兰10 分钟前
Elasticsearch 9.3.0 日志数据源配置
大数据·elasticsearch·jenkins
之歆20 分钟前
Hadoop MapReduce 详解
大数据·hadoop·mapreduce
W1333090890726 分钟前
2026 大专大数据与会计专业考证书门槛低的有哪些?
大数据
geneculture30 分钟前
智慧系统工程实践:从人机互助至人机协同
大数据·人工智能·机器学习·知识图谱·融智学的重要应用·哲学与科学统一性·融智时代(杂志)
是做服装的同学1 小时前
服装企业系统ERP是什么?其主要功能和优势有哪些?
大数据·经验分享·其他
AI周红伟2 小时前
周红伟:企业大模型微调和部署, DeepSeek-OCR v2技术原理和架构,部署案例实操。RAG+Agent智能体构建
大数据·人工智能·大模型·ocr·智能体·seedance
之歆2 小时前
DRBD 分布式复制块设备指南
分布式
零售ERP菜鸟2 小时前
数据驱动:从经验主义的“后视镜”到科学决策的“导航仪”
大数据·人工智能·职场和发展·创业创新·学习方法·业界资讯