[spark] SaveMode

https://spark.apache.org/docs/latest/api/java/index.html?org/apache/spark/sql/SaveMode.html

Overwrite

覆盖模式是指将DataFrame保存到数据源时,如果数据/表已经存在,则现有数据将被DataFrame的内容覆盖。

注意:

Overwrite 模式会覆盖已存在的表并删除表中的数据,然后写入新的数据。如果昨天存入的数据也在同一表中,它们将被新的数据替代,整个表的内容将被更新。

如果您希望在不删除原有数据的情况下追加新的数据,可以选择使用 Append 模式。这样,新的数据将会在表的末尾追加,而不会影响已有的数据。

是否会自动创建Mysql表

  • 默认为SaveMode.ErrorIfExists模式,该模式下,如果数据库中已经存在该表,则会直接报异常

  • SaveMode.Append 如果表已经存在,则追加在该表中;若该表不存在,则会先创建表,再插入数据;

  • SaveMode.Overwrite 重写模式,若表不存在,则创建表, 其实质是先将已有的表及其数据全都删除,再重新创建该表,最后插入新的数据;

  • SaveMode.Ignore 若表不存在,则创建表,并存入数据;在表存在的情况下,直接跳过数据的存储,不会报错。

相关推荐
sakoba3 小时前
flink消费pulsar
大数据·flink·pulsar
云老大TG:@yunlaoda3606 小时前
如何进行华为云国际站代理商跨Region适配?
大数据·数据库·华为云·负载均衡
Wang's Blog6 小时前
Kafka: 消费者核心机制
分布式·kafka
字节数据平台7 小时前
刚刚,火山引擎多模态数据湖解决方案发布大数据运维Agent
大数据·运维·火山引擎
YangYang9YangYan7 小时前
2026高职会计电算化专业高价值技能证书
大数据·学习·区块链
老蒋新思维7 小时前
从「流量算法」到「增长算法」:AI智能体如何重构企业增长的内在逻辑
大数据·网络·人工智能·重构·创始人ip·创客匠人·知识变现
五度易链-区域产业数字化管理平台8 小时前
大数据与 AI 赋能招商全流程:五度易链平台的技术架构与实践应用解析
大数据·人工智能
学海_无涯_苦作舟8 小时前
分布式事务的解决方案
分布式
Moonbeam Community8 小时前
Polkadot 2025:从协议工程到可用的去中心化云平台
大数据·web3·去中心化·区块链·polkadot
阿里云大数据AI技术8 小时前
DataWorks 又又又升级了,这次我们通过 Arrow 列存格式让数据同步速度提升10倍!
大数据·人工智能