MySQL Mysqldump 一致性备份与大数据库备份 与 PG MYSQL 到底谁是NO.1

Austindatabases2024-01-11 17:44

这开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群群内，可以解决你的问题。加群请联系 liuaustin3 ，（共1830人左右 1 + 2 + 3 + 4 +5） 4群（340+ 到350将关闭自由申请）,另欢迎 OpenGauss 的技术人员加入。

我其实是想郑重其事的回答以下在上个礼拜分享会后，一个人最后对我的一个问题，问题是, PG 和 MYSQL 到底那个是 NO.1 ，当时我的语气不是很好，因为我觉得很无聊，在此表示道歉，但观点我是不变的。

作为一个技术人员，不是对自己的技术有要求，而是成天的讨论 PG 第一还是 MYSQL 第一，我不觉得是光彩的事情，这只能说明一件事情，你无能，提出这个问题的人，很可能在技术上是 physically challenged individual.

你在问这个问题的时候，其实你在告诉别人，这两个数据库你必然有一个你不会，不管是PG 或是 MYSQL 。为什么不能提高自己，两个都会呢？我想那时的你，不会在提出这样问题，因为你有自信，告诉任何人，"Who cares about which one is NO.1? I can operate both of them." That's all.

技术正文

道完歉，最近在重新的review PostgreSQL和MySQL在内置备份这个层面的功能，pg_dump , mysqldump ，实话实说mysqldump 的确无法和PG的 pg_dump 的功能比较。这主要是从这几个方面来进行

1 备份的速度

2 备份的多线程

3 备份命令中直接带有压缩的功能

4 备份命令直接支持数据一致性备份，并且是在并发备份模式下（不需要带参数）

但是咱们还是得实话实说，MYSQL的市场占有率就是高，两手都要抓，两手都要硬。

当然MySQL 的MySQLDUMP从早期的5.0中，当时我使用的是是没有 --single-transaction 的这个一致性的支持是到了mysql5.1.1.0中才有的功能。当时只能只用 --lock-tables 来进行数据库的备份。

在备份中MySQL 是要通过 --single-transaction 来进行数据库的备份，如果不使用这个参数，那么你对数据库的操作，只能要导出，不能叫备份，因为此时你没有这个参数的加持，你的备份中的表输出的数据都不在一个时间点，所以没有这个参数的备份是失败的。

这里我们简单用一个备份，并跟踪整个备份的过程来看看到底备份一个数据库中经历了什么。

go 复制代码 
2023-12-30T15:22:50.379211-00:00     8 Connect root@localhost on  using Socket
2023-12-30T15:22:50.379506-00:00     8 Query /*!40100 SET @@SQL_MODE='' */
2023-12-30T15:22:50.379631-00:00     8 Query /*!40103 SET TIME_ZONE='+00:00' */
2023-12-30T15:22:50.379739-00:00     8 Query /*!80000 SET SESSION information_schema_stats_expiry=0 */
2023-12-30T15:22:50.379925-00:00     8 Query SET SESSION NET_READ_TIMEOUT= 86400, SESSION NET_WRITE_TIMEOUT= 86400
2023-12-30T15:22:50.380446-00:00     8 Query SHOW VARIABLES LIKE 'gtid_mode'
2023-12-30T15:22:50.391288-00:00     8 Query FLUSH /*!40101 LOCAL */ TABLES
2023-12-30T15:22:50.391924-00:00     8 Query FLUSH TABLES WITH READ LOCK
2023-12-30T15:22:50.392361-00:00     8 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2023-12-30T15:22:50.392899-00:00     8 Query START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */
2023-12-30T15:22:50.393304-00:00     8 Query SHOW BINARY LOG STATUS
2023-12-30T15:22:50.393518-00:00     8 Query UNLOCK TABLES
2023-12-30T15:22:50.393714-00:00     8 Query SELECT LOGFILE_GROUP_NAME, FILE_NAME, TOTAL_EXTENTS, INITIAL_SIZE, ENGINE, EXTRA FROM INFORMATION_SCHEMA.FILES WHERE ENGINE = 'ndbcluster' AND FILE_TYPE = 'UNDO LOG' AND FILE_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IN (SELECT DISTINCT LOGFILE_GROUP_NAME FROM INFORMATION_SCHEMA.FILES WHERE ENGINE = 'ndbcluster' AND FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('test'))) GROUP BY LOGFILE_GROUP_NAME, FILE_NAME, ENGINE, TOTAL_EXTENTS, INITIAL_SIZE ORDER BY LOGFILE_GROUP_NAME
2023-12-30T15:22:50.404327-00:00     8 Query SELECT DISTINCT TABLESPACE_NAME, FILE_NAME, LOGFILE_GROUP_NAME, EXTENT_SIZE, INITIAL_SIZE, ENGINE FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('test')) ORDER BY TABLESPACE_NAME, LOGFILE_GROUP_NAME
2023-12-30T15:22:50.406627-00:00     8 Query SHOW VARIABLES LIKE 'ndbinfo\_version'
2023-12-30T15:22:50.411160-00:00     8 Init DB test
2023-12-30T15:22:50.411488-00:00     8 Query SAVEPOINT sp
2023-12-30T15:22:50.411854-00:00     8 Query show tables
2023-12-30T15:22:50.416006-00:00     8 Query show table status like 'test'
2023-12-30T15:22:50.417961-00:00     8 Query SET SQL_QUOTE_SHOW_CREATE=1
2023-12-30T15:22:50.418353-00:00     8 Query SET SESSION character_set_results = 'binary'
2023-12-30T15:22:50.418666-00:00     8 Query show create table `test`
2023-12-30T15:22:50.426797-00:00     8 Query SET SESSION character_set_results = 'utf8mb4'
2023-12-30T15:22:50.427208-00:00     8 Query show fields from `test`
2023-12-30T15:22:50.431178-00:00     8 Query show fields from `test`
2023-12-30T15:22:50.432739-00:00     8 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `test`
2023-12-30T15:22:50.433439-00:00     8 Query SET SESSION character_set_results = 'binary'
2023-12-30T15:22:50.433681-00:00     8 Query use `test`
2023-12-30T15:22:50.433969-00:00     8 Query select @@collation_database
2023-12-30T15:22:50.434119-00:00     8 Query SHOW TRIGGERS LIKE 'test'
2023-12-30T15:22:50.439390-00:00     8 Query SET SESSION character_set_results = 'utf8mb4'
2023-12-30T15:22:50.439750-00:00     8 Query SET SESSION character_set_results = 'binary'
2023-12-30T15:22:50.440197-00:00     8 Query SELECT COLUMN_NAME,                       JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')                FROM information_schema.COLUMN_STATISTICS                WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test'
2023-12-30T15:22:50.441997-00:00     8 Query SET SESSION character_set_results = 'utf8mb4'
2023-12-30T15:22:50.442242-00:00     8 Query ROLLBACK TO SAVEPOINT sp
2023-12-30T15:22:50.442521-00:00     8 Query RELEASE SAVEPOINT sp
go 复制代码 
Query FLUSH /*!40101 LOCAL */ TABLES
 Query FLUSH TABLES WITH READ LOCK
 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
 Query START TRANSACTION /*!40100 WITH CONSISTENT SNAPSHOT */
 Query SELECT @@GLOBAL.GTID_EXECUTED
 Query SHOW BINARY LOG STATUS
 Query UNLOCK TABLES

这里在备份中可以分为几个过程

1 如上面的显示的，他需要对表执行read lock,此时获得一个全局锁，为备份做一个完整的准备，此时数据库的表将变为只读的状态，并且马上针对备份的SESSION 设置为repeatable read 的状态，方便准备在备份期间为数据表备份中的数据一致性进行准备，然后建立事务，获取当前的GTID的号并查看当前的BINLOG 当前的文件是那个。然后解锁全局。

go 复制代码 
Query   SAVEPOINT sp
Query show tables
Query show table status like 'test'
Query SET SQL_QUOTE_SHOW_CREATE=1
Query SET SESSION character_set_results = 'binary'
Query show create table `test`
Query SET SESSION character_set_results = 'utf8mb4'
Query show fields from `test`
Query show fields from `test`
Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `test`
Query SET SESSION character_set_results = 'binary'
Query use `test`
Query select @@collation_database
Query SHOW TRIGGERS LIKE 'test'
Query SET SESSION character_set_results = 'utf8mb4'
Query SET SESSION character_set_results = 'binary'
Query SELECT COLUMN_NAME,                       
        JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')                
        FROM information_schema.COLUMN_STATISTICS                
        WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test'
Query SET SESSION character_set_results = 'utf8mb4'
Query ROLLBACK TO SAVEPOINT sp
Query RELEASE SAVEPOINT sp

而后面就开始针对表进行备份，这里会先建立一个当前事务的 savepoint 方便后面进行rollback， 在建立了savepoint后开始针对表的创建语句，字符集以及数据信息进行获取这里都在上面的备份的过程中有体现，并通过系统表获得表中的字段，然后rollback 到设置savepoint的点，整个数据库的备份完成。

在mysqldump 源代码中的这部分就是上面展示的操作部分，建立save point 并且针对数据库宗所有的表进行获取，并循环方式的对表进行逐一的备份。

go 复制代码 
if (flush_logs) {
    if (mysql_refresh(mysql, REFRESH_LOG))
      DB_error(mysql, "when doing refresh");
    /* We shall continue here, if --force was given */
    else
      verbose_msg("-- dump_all_tables_in_db : logs flushed successfully!\n");
  }
  if (opt_single_transaction && mysql_get_server_version(mysql) >= 50500) {
    verbose_msg("-- Setting savepoint...\n");
    if (mysql_query_with_error_report(mysql, nullptr, "SAVEPOINT sp")) return 1;
  }
  while ((table = getTableName(0))) {
    char *end = my_stpcpy(afterdot, table);
    if (include_table(hash_key, end - hash_key)) {
      dump_table(table, database);
      if (opt_dump_triggers && mysql_get_server_version(mysql) >= 50009) {
        if (dump_triggers_for_table(table, database)) {
          if (path) my_fclose(md_result_file, MYF(MY_WME));
          maybe_exit(EX_MYSQLERR);
        }
      }

下面的这部分是针对备份中在建立SAVE POINT 后备份表完成后，对数据库执行 rollback savepoint的操作，并且执行release savepoint的工作。

go 复制代码 
if (opt_single_transaction && mysql_get_server_version(mysql) >= 50500) {
      verbose_msg("-- Rolling back to savepoint sp...\n");
      if (mysql_query_with_error_report(mysql, nullptr,
                                        "ROLLBACK TO SAVEPOINT sp"))
        maybe_exit(EX_MYSQLERR);
    }
  }

  if (opt_single_transaction && mysql_get_server_version(mysql) >= 50500) {
    verbose_msg("-- Releasing savepoint...\n");
    if (mysql_query_with_error_report(mysql, nullptr, "RELEASE SAVEPOINT sp"))
      return 1;
  }

这样设计的有点通过创建事务点的方式可以保证在备份数据库表的情况下，不阻塞DDL的操作。

通过在此整理这部分的内容

1 在使用--single-transaction 对数据库备份时，如果数据库的表的数量多，数据量大的情况下，并且备份线程在RR的模式下，会在此期间将大量正在运行的事务的snapshot版本，放置在UNDO LOG中进行保存，如果此时业务繁忙，并且备份的时间在 save point ---- rollback savepoint之间的时间过长，则需要注意undo log 表空间应该有足够的空间来进行存储这段时间无法被purge 的事务信息。

2 在备份中存在FLUSH TABLES WITH READ LOCK 的主要原因是系统担心在备份获取binlog信息的时刻，此时数据库进行DDL操作，而进行锁控制，此时是不能进行DDL操作的。

同时基于大库在使用MYSQLDUMP备份中失败的可能性中，需要注意如下的部分

1 增加innodb_undo_logs 的数量增加在undo表空间中日志文件的数量，提高并发性

2 在进行读锁的加载时，会对一些高并发的业务的MYSQL数据库中的DML 操作在进行备份中加锁之间的互斥性。

所以这里建议在较大的数据库备份中，不使用mysqldump来进行数据备份，并且如果是数据导出的情况下，不要使用 single-transaction参数。

这里我们在此操作备份，并去掉 --single_transaction 参数可以从下面的跟踪信息中发现

1 系统在数据备份中不在设置 RR 的隔离级别，这里默认已经使用了 RC

2 在备份中不存在设置 SAVE POINT的情况

3 最后在对数据进行导出的时候，我个人从源代码和操作过程看，MySQL在导出数据时没有lock table 的操作，这点相对于PG 要更好，减少冲突的可能性。

相关PG的pg_dump 的分析也在前两天发出，有兴趣可以查看PG的PG_DUMP 有什么优点和特点

go 复制代码 
2023-12-30T16:43:41.860155-00:00           10 Connect   root@localhost on  using Socket
2023-12-30T16:43:41.860568-00:00           10 Query     /*!40100 SET @@SQL_MODE='' */
2023-12-30T16:43:41.861053-00:00           10 Query     /*!40103 SET TIME_ZONE='+00:00' */
2023-12-30T16:43:41.861413-00:00           10 Query     /*!80000 SET SESSION information_schema_stats_expiry=0 */
2023-12-30T16:43:41.861663-00:00           10 Query     SET SESSION NET_READ_TIMEOUT= 86400, SESSION NET_WRITE_TIMEOUT= 86400
2023-12-30T16:43:41.862033-00:00           10 Query     SHOW VARIABLES LIKE 'gtid_mode'
2023-12-30T16:43:41.865299-00:00           10 Query     FLUSH /*!40101 LOCAL */ TABLES
2023-12-30T16:43:41.866062-00:00           10 Query     FLUSH TABLES WITH READ LOCK
2023-12-30T16:43:41.866303-00:00           10 Query     SHOW BINARY LOG STATUS
2023-12-30T16:43:41.866803-00:00           10 Query     SELECT LOGFILE_GROUP_NAME, FILE_NAME, TOTAL_EXTENTS, INITIAL_SIZE, ENGINE, EXTRA FROM INFORMATION_SCHEMA.FILES WHERE ENGINE = 'ndbcluster' AND FILE_TYPE = 'UNDO LOG' AND FILE_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IN (SELECT DISTINCT LOGFILE_GROUP_NAME FROM INFORMATION_SCHEMA.FILES WHERE ENGINE = 'ndbcluster' AND FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('test'))) GROUP BY LOGFILE_GROUP_NAME, FILE_NAME, ENGINE, TOTAL_EXTENTS, INITIAL_SIZE ORDER BY LOGFILE_GROUP_NAME
2023-12-30T16:43:41.871592-00:00           10 Query     SELECT DISTINCT TABLESPACE_NAME, FILE_NAME, LOGFILE_GROUP_NAME, EXTENT_SIZE, INITIAL_SIZE, ENGINE FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('test')) ORDER BY TABLESPACE_NAME, LOGFILE_GROUP_NAME
2023-12-30T16:43:41.874070-00:00           10 Query     SHOW VARIABLES LIKE 'ndbinfo\_version'
2023-12-30T16:43:41.877178-00:00           10 Init DB   test
2023-12-30T16:43:41.877564-00:00           10 Query     show tables
2023-12-30T16:43:41.880012-00:00           10 Query     show table status like 'test'
2023-12-30T16:43:41.882630-00:00           10 Query     SET SQL_QUOTE_SHOW_CREATE=1
2023-12-30T16:43:41.883007-00:00           10 Query     SET SESSION character_set_results = 'binary'
2023-12-30T16:43:41.883134-00:00           10 Query     show create table `test`
2023-12-30T16:43:41.883536-00:00           10 Query     SET SESSION character_set_results = 'utf8mb4'
2023-12-30T16:43:41.883816-00:00           10 Query     show fields from `test`
2023-12-30T16:43:41.886349-00:00           10 Query     show fields from `test`
2023-12-30T16:43:41.887888-00:00           10 Query     SELECT /*!40001 SQL_NO_CACHE */ * FROM `test`
2023-12-30T16:43:41.888263-00:00           10 Query     SET SESSION character_set_results = 'binary'
2023-12-30T16:43:41.888522-00:00           10 Query     use `test`
2023-12-30T16:43:41.888736-00:00           10 Query     select @@collation_database
2023-12-30T16:43:41.889022-00:00           10 Query     SHOW TRIGGERS LIKE 'test'
2023-12-30T16:43:41.890816-00:00           10 Query     SET SESSION character_set_results = 'utf8mb4'
2023-12-30T16:43:41.891073-00:00           10 Query     SET SESSION character_set_results = 'binary'
2023-12-30T16:43:41.891334-00:00           10 Query     SELECT COLUMN_NAME,                       JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')                FROM information_schema.COLUMN_STATISTICS                WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test'
2023-12-30T16:43:41.891976-00:00           10 Query     SET SESSION character_set_results = 'utf8mb4'
2023-12-30T16:43:41.893632-00:00           10 Quit
~

这里我们使用的MySQL版本为 8.2.

相关推荐
小陈工17 小时前
Python Web开发入门（十七）：Vue.js与Python后端集成——让前后端真正“握手言和“
开发语言·前端·javascript·数据库·vue.js·人工智能·python
0xDevNull21 小时前
MySQL数据冷热分离详解
后端·mysql
科技小花1 天前
数据治理平台架构演进观察：AI原生设计如何重构企业数据管理范式
数据库·重构·架构·数据治理·ai-native·ai原生
一江寒逸1 天前
零基础从入门到精通MySQL（中篇）：进阶篇——吃透多表查询、事务核心与高级特性，搞定复杂业务SQL
数据库·sql·mysql
D4c-lovetrain1 天前
linux个人心得22 （mysql）
数据库·mysql
阿里小阿希1 天前
CentOS7 PostgreSQL 9.2 升级到 15 完整教程
数据库·postgresql
荒川之神1 天前
Oracle 数据仓库雪花模型设计（完整实战方案）
数据库·数据仓库·oracle
做个文艺程序员1 天前
MySQL安全加固十大硬核操作
数据库·mysql·安全
不吃香菜学java1 天前
Redis简单应用
数据库·spring boot·tomcat·maven
一个天蝎座 白勺 程序猿1 天前
Apache IoTDB（15）：IoTDB查询写回（INTO子句）深度解析——从语法到实战的ETL全链路指南
数据库·apache·etl·iotdb
热门推荐
01GitHub 镜像站点02一周AI热点速览（2026.03.31-04.06）：GPT-6曝光、谷歌开源Gemma 4、资本狂飙与模型军备竞赛03OpenClaw 请求超时 llm request timed out 怎么解决？3 种方案实测，附完整排查流程04VMware Workstation Pro 17 虚拟机完整安装教程（2026最新）05AI 编程效率翻倍：Superpowers Skills 上手清单 + 完整指南06【STM32】HAL库 CubeMX 教程 --- 通用定时器 TIM2 定时07Oh My Codex 快速使用指南08实测！Gemma 4 成功跑在安卓手机上：离线 AI 助手终于来了09CodeBuddy与WorkBuddy深度对比：腾讯两款AI工具差异及实操指南10UV安装并设置国内源