[spark] SaveMode

https://spark.apache.org/docs/latest/api/java/index.html?org/apache/spark/sql/SaveMode.html

Overwrite

覆盖模式是指将DataFrame保存到数据源时,如果数据/表已经存在,则现有数据将被DataFrame的内容覆盖。

注意:

Overwrite 模式会覆盖已存在的表并删除表中的数据,然后写入新的数据。如果昨天存入的数据也在同一表中,它们将被新的数据替代,整个表的内容将被更新。

如果您希望在不删除原有数据的情况下追加新的数据,可以选择使用 Append 模式。这样,新的数据将会在表的末尾追加,而不会影响已有的数据。

是否会自动创建Mysql表

  • 默认为SaveMode.ErrorIfExists模式,该模式下,如果数据库中已经存在该表,则会直接报异常

  • SaveMode.Append 如果表已经存在,则追加在该表中;若该表不存在,则会先创建表,再插入数据;

  • SaveMode.Overwrite 重写模式,若表不存在,则创建表, 其实质是先将已有的表及其数据全都删除,再重新创建该表,最后插入新的数据;

  • SaveMode.Ignore 若表不存在,则创建表,并存入数据;在表存在的情况下,直接跳过数据的存储,不会报错。

相关推荐
Aomnitrix3 小时前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐3 小时前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询3 小时前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams3 小时前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
计算机毕业设计木哥4 小时前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
T06205144 小时前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔4 小时前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟5 小时前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂6 小时前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata