[spark] SaveMode

https://spark.apache.org/docs/latest/api/java/index.html?org/apache/spark/sql/SaveMode.html

Overwrite

覆盖模式是指将DataFrame保存到数据源时,如果数据/表已经存在,则现有数据将被DataFrame的内容覆盖。

注意:

Overwrite 模式会覆盖已存在的表并删除表中的数据,然后写入新的数据。如果昨天存入的数据也在同一表中,它们将被新的数据替代,整个表的内容将被更新。

如果您希望在不删除原有数据的情况下追加新的数据,可以选择使用 Append 模式。这样,新的数据将会在表的末尾追加,而不会影响已有的数据。

是否会自动创建Mysql表

  • 默认为SaveMode.ErrorIfExists模式,该模式下,如果数据库中已经存在该表,则会直接报异常

  • SaveMode.Append 如果表已经存在,则追加在该表中;若该表不存在,则会先创建表,再插入数据;

  • SaveMode.Overwrite 重写模式,若表不存在,则创建表, 其实质是先将已有的表及其数据全都删除,再重新创建该表,最后插入新的数据;

  • SaveMode.Ignore 若表不存在,则创建表,并存入数据;在表存在的情况下,直接跳过数据的存储,不会报错。

相关推荐
cdsmjt32 分钟前
当文化遇见科技:探秘国际数字影像创新生态高地
大数据
菜鸟康2 小时前
C++实现分布式网络通信框架RPC(2)——rpc发布端
分布式·网络协议·rpc
T06205142 小时前
【实证分析】上市公司企业风险承担水平数据集(2000-2022年)
大数据·人工智能
G皮T2 小时前
【Elasticsearch】映射:Join 类型、Flattened 类型、多表关联设计
大数据·elasticsearch·搜索引擎·nested·join·多表关联·flattened
G皮T2 小时前
【Elasticsearch】映射:Nested 类型
大数据·elasticsearch·搜索引擎·映射·nested·嵌套类型·mappings
狂奔solar2 小时前
逻辑回归暴力训练预测金融欺诈
大数据·金融·逻辑回归
斯普信专业组3 小时前
Kafka主题运维全指南:从基础配置到故障处理
运维·分布式·kafka
linmoo19864 小时前
Flink 系列之二十二 - 高级概念 - 保存点
大数据·flink·savepoint·保存点
百度Geek说4 小时前
BaikalDB 架构演进实录:打造融合向量化与 MPP 的 HTAP 查询引擎
数据库·分布式·架构