Linux - MySQL迁移至一主一从

迁移准备
- 安装MySQL
ibd文件迁移
- 原服务器操作
- 目标服务器操作
一主一从
增量同步
异常解决
结尾

首先部分单独安装MySQL，请参考Linux - MySQL安装，迁移数据量比较大约400G左右且网络不通故使用文件迁移，需开启一段时间只读和锁表。

迁移准备

测试机	作用
172.17.7.9	原MySQL
10.3.69.6	目标主库
10.3.69.7	目标从库

原服务器与目标服务器不在同一局域网内而且无外网。

思路

先检测原MySQL健康的表进行记录，设置原MySQL为只读以及锁表，防止迁移过程中继续写入，记录时间点用作迁移后增量同步，导出所有表结构和ibd文件，解锁恢复读写，将表结构和ibd文件转至目标主库以及从库，都先进行恢复ibd文件，然后进行主从连接，使用binlog导出原MySQL时间点开始的sql日志，并增量同步至目标主库。

安装MySQL

先在目标2台服务器上面安装MySQL，请参考Linux - MySQL安装，其中my.cnf配置参考以下，其中server_id主库与从库不一致主库6 从库7，其他配置都一致，具体参数值参考自己MySQL需求大小进行配置。

bash 复制代码

[mysqld]
basedir=/usr/local/mysql/mysql8
datadir=/home/mysql/data
log-error=/home/mysql/log/mysql.log

server_id=6
gtid_mode=on
enforce_gtid_consistency=on
binlog_format=row
log-slave-updates=on
log-bin=mysqlbin-log
binlog_row_image = minimal



max_connections=2000
lower_case_table_names=1
character-set-server=utf8mb4
default_authentication_plugin=mysql_native_password
max_binlog_size=1G
max_binlog_cache_size=4G
log_timestamps=system

配置好后就初始化MySQL，然后重置密码操作什么的，先不进行主从连接。

ibd文件迁移

原服务器操作

注：其中有些打通ssh免密也进行了记录(假设原服务器和目标服务器可以互通)，本次迁移未使用到ssh免密

ssh免密

bash 复制代码

ssh-keygen -t rsa
ssh-copy-id root@10.3.69.6
ssh-copy-id root@10.3.69.7
ssh root@10.3.69.6   # 测试是否免密登录
ssh root@10.3.69.7

创建一个export.sh脚本

找一个磁盘够大的位置（看数据量），创建一个transfer文件夹，在这个文件夹里面创建脚本

我们要一次一个库的去迁移（数据量有点大没磁盘了）当然也可以一次全部迁移全部的库（自行加一个循环），先查询某个库的所有表名，然后导出这个库所有的表结构，然后把ibd文件复制压缩即可

此处我自己写了一个py每过10s向数据库orders表中新增一条数据，模拟真实写入

bash 复制代码

#!/bin/bash

# 数据库连接信息 变量 - 需要更改的
DB_USER="root"          # 替换为你的数据库用户名
DB_PASSWORD="123456"    # 替换为你的数据库密码
DB_HOST="172.17.7.9"    # 主机地址
DB_NAME="dw"            # 数据库名称，想迁移整个MySQL所有库可以写个大循环
MYSQLDUMP_PATH="/usr/local/mysql/mysql8/bin/mysqldump"   # mysqldump 路径
MYSQL_DATA_DIR="/home/weekeight/mysql/data/${DB_NAME}"   # MySQL 数据目录路径

# 注：下面的所有值都不需要修改
# 输出文件路径
TABLES_FILE="${DB_NAME}_table_name.txt"
SCHEMA_FILE="${DB_NAME}_schema.sql"
# 创建 dw 文件夹（如果不存在）
DW_DIR="./${DB_NAME}"
mkdir -p "$DW_DIR"
# 查询所有表名并保存到文件，移除标题行
mysql -u "$DB_USER" -p"$DB_PASSWORD" -h "$DB_HOST" -D "$DB_NAME" -e "SHOW TABLES;" | sed '1d' > "$TABLES_FILE"
if [ $? -ne 0 ]; then
    echo "导出表名时发生错误"
    exit 1
fi
echo "表名已成功导出到 $TABLES_FILE"
# 使用 mysqldump 导出表结构到文件
$MYSQLDUMP_PATH -u "$DB_USER" -p"$DB_PASSWORD" -h "$DB_HOST" --no-data --single-transaction --routines --triggers --events "$DB_NAME" > "$SCHEMA_FILE"
if [ $? -ne 0 ]; then
    echo "导出表结构时发生错误"
    exit 1
else
    echo "表结构已成功导出到 $SCHEMA_FILE"
fi
# 复制 IBD 文件到 dw 文件夹
while IFS= read -r table; do
    ibd_file="${MYSQL_DATA_DIR}/${table}.ibd"
    if [ -f "$ibd_file" ]; then
        cp "$ibd_file" "$DW_DIR/"
        echo "复制了 $ibd_file 到 $DW_DIR/"
    else
        echo "警告: $ibd_file 不存在"
    fi
done < "$TABLES_FILE"
# 压缩打包 dw 文件夹
TAR_FILE="${DB_NAME}_ibd_files.tar.gz"
tar -czvf "$TAR_FILE" "$DW_DIR"
if [ $? -eq 0 ]; then
    echo "dw 文件夹已成功压缩打包为 $TAR_FILE"
else
    echo "压缩打包时发生错误"
    exit 1
fi
# 清理临时文件夹
rm -rf "$DW_DIR"

上面的脚本写好记得添加权限

bash 复制代码

chmod +x export.sh

搞好sh脚本后先不用管他，接下来我们进入MySQL进行设置只读和锁表，然后执行脚本，恢复MySQL

bash 复制代码

SET GLOBAL read_only = ON;    # 设置全局只读模式
FLUSH TABLES WITH READ LOCK;  # 锁表
SHOW ENGINE INNODB STATUS\G   # 检查当前是否还有事务正在执行
# 记录一下当前时间(16:26:00,order结尾11)，用作后续的增量同步，order结尾11验证后面的增量同步order.ibd中只存在11条数据
# 然后去执行上面的./export.sh脚本，脚本执行完毕后继续在MySQL中执行以下命令恢复MySQL
UNLOCK TABLES;                # 解除锁表
SET GLOBAL read_only = OFF;   # 恢复读写模式，恢复后order表记录到38，上面sh脚本保存的ibd文件中不包含12-38

现在的我们已经生成了三个文件了，一个ibd数据文件、一个dw库所有表名文件、一个dw库表结构文件，可以把export.sh文件删除了，已经没用了

接下来就是把这三个文件移动到目标服务器了，下面使用scp，

bash 复制代码

scp -r ./transfer/ root@10.3.69.6:/home/weekeight/
scp -r ./transfer/ root@10.3.69.7:/home/weekeight/

目标服务器操作

下面的操作在目标服务器的两台上面同步执行命令

bash 复制代码

cd /home/weekeight/transfer/   # 进入移动过来的文件夹里面

创建一个import.sh脚本

bash 复制代码

#!/bin/bash

# 变量 - 需要更改的
DB_USER="root"          # 替换为你的数据库用户名
DB_PASSWORD="123456"    # 替换为你的数据库密码
DB_NAME="dw"            # 迁移数据库名
MYSQL_DATA_DIR="/home/mysql/data/${DB_NAME}"   # MySQL 数据目录路径
TRANSFER_DIR="/home/weekeight/transfer"        # 资源目录，就是从原服务器移动过来的

# 注：下面的所有值都不需要修改
IBD_TAR_FILE="${TRANSFER_DIR}/${DB_NAME}_ibd_files.tar.gz"
SCHEMA_FILE="${TRANSFER_DIR}/${DB_NAME}_schema.sql"
TABLES_NAME="${TRANSFER_DIR}/${DB_NAME}_table_name.txt"
log_file="all.log"
# 清空日志文件
> "$log_file"
# 检查数据库是否存在
check_db_exists() {
    mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "SHOW DATABASES LIKE '$DB_NAME';" | grep -w "$DB_NAME" > /dev/null
}
# 检查数据库是否存在
if check_db_exists; then
    echo "数据库 $DB_NAME 已存在。" | tee -a "$log_file"
else
    # 创建数据库
    echo "正在创建数据库 $DB_NAME..." | tee -a "$log_file"
    mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "CREATE DATABASE IF NOT EXISTS $DB_NAME;"
    if [ $? -ne 0 ]; then
        echo "创建数据库 $DB_NAME 失败，请检查数据库连接信息和权限。" | tee -a "$log_file"
        exit 1
    else
        echo "数据库 $DB_NAME 创建成功。" | tee -a "$log_file"
    fi
fi
# 导入表结构
echo "正在导入表结构..." | tee -a "$log_file"
mysql -u "$DB_USER" -p"$DB_PASSWORD" "$DB_NAME" < "$SCHEMA_FILE"
if [ $? -eq 0 ]; then
    echo "表结构已成功导入到数据库 $DB_NAME 中。" | tee -a "$log_file"
else
    echo "导入表结构失败，请检查 $SCHEMA_FILE 是否存在且格式正确。" | tee -a "$log_file"
    exit 1
fi
# 解压 IBD 文件压缩包
echo "解压 IBD 文件..." | tee -a "$log_file"
tar -xzvf "$IBD_TAR_FILE" -C "$TRANSFER_DIR"
if [ $? -ne 0 ]; then
    echo "解压失败，请检查 $IBD_TAR_FILE 是否存在且无损坏。" | tee -a "$log_file"
    exit 1
else
    echo "解压成功，文件已放置在 $TRANSFER_DIR 中。" | tee -a "$log_file"
fi
# 循环读取表名
while IFS= read -r table_name; do
    echo "开始处理表 $table_name..." | tee -a "$log_file"
    # 设置源和目标路径
    source_path="${TRANSFER_DIR}/${DB_NAME}/${table_name}.ibd"
    destination_path="${MYSQL_DATA_DIR}/${table_name}.ibd"
    # 清除表空间
    mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "ALTER TABLE $DB_NAME.$table_name DISCARD TABLESPACE;"
    if [ $? -ne 0 ]; then
        echo "表 $table_name: DISCARD TABLESPACE 失败，跳过" | tee -a "$log_file"
        continue
    fi
    # 复制 .ibd 文件
    cp "$source_path" "$destination_path"
    if [ $? -ne 0 ]; then
        echo "表 $table_name: 文件复制失败，跳过" | tee -a "$log_file"
        continue
    fi
    # 修改文件拥有者为 mysql
    chown mysql:mysql "$destination_path"
    if [ $? -ne 0 ]; then
        echo "表 $table_name: 更改文件拥有者失败，跳过" | tee -a "$log_file"
        continue
    fi
    # 导入表空间
    mysql -u "$DB_USER" -p"$DB_PASSWORD" -e "ALTER TABLE $DB_NAME.$table_name IMPORT TABLESPACE;"
    if [ $? -ne 0 ]; then
        echo "表 $table_name: IMPORT TABLESPACE 失败，跳过" | tee -a "$log_file"
        continue
    fi
    echo "表 $table_name 迁移成功" | tee -a "$log_file"
done < "$TABLES_NAME"
echo "所有表处理完成，详情见 $log_file" | tee -a "$log_file"

创建import.sh后执行下面操作

bash 复制代码

chmod +x import.sh   # 修改权限
./import.sh          # 执行，执行完毕后检查一下打印是否正确，可以查看all.log日志
cd ..
rm -rf ./transfer    # 删除移动过来的文件夹即可，已无用

一主一从

下面是在目标服务器的MySQL上的操作，是进行一主一从的连接

首先在主库上面查看gtid值

bash 复制代码

mysql> SHOW VARIABLES LIKE 'gtid_executed';
+---------------+-------------------------------------------+
| Variable_name | Value                                     |
+---------------+-------------------------------------------+
| gtid_executed | 36513eed-b6bd-11ef-843c-6c92bfcb11f0:1-76 |
+---------------+-------------------------------------------+
1 row in set (0.01 sec)

然后在从库上面进行绑定连接

bash 复制代码

SET @@GLOBAL.GTID_PURGED='36513eed-b6bd-11ef-843c-6c92bfcb11f0:1-76';   # 把主库的gtid添加到这里
change master to master_host='10.3.69.6',master_port=3306,master_user='root',master_password='123456',master_auto_position=1 for channel 'master1';   # 连接主库创建管道名为msater1
start slave for channel 'master1';   # 单独启动master1进行复制，可使用start slave;
show slave status\G   # 查看从库的状态，状态中Slave_IO_Running与Slave_SQL_Running同为yes时正常，不然就是异常

下面的几个命令不需要执行，如果主从连接出现了问题，那么我们就要停止连接，清除配置，重新连接时使用的

bash 复制代码

stop slave;        # 停止主从
reset master;      # 重置主库配置
reset slave all;   # 重置从库配置

下面就是去主库上面进行创建一个数据库，或者写入数据，查看从库是否变化了

增量同步

上方已经记录了时间以及order参数(16:26:00)，目标数据库的参数为11，原数据库的参数是38

先在原mysql上面进行查看binlog的file，然后导出binlog信息

bash 复制代码

mysql> SHOW MASTER STATUS;
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000014 | 33034659 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

--skip-gtids：跳过GTID事件，必填项，不加的话导出的数据用不了，GTID冲突
--database：指定数据库
--start-datetime：指定开始时间，此时间即锁表后的时间，上面已经记录了
--stop-datetime：指定结束时间，最好指定此时间，导出的数据包头不包尾，这样的话如果有需要，下次的增量同步这个就是开始时间
binlog的文件在MySQL数据目录中，上面已经有文件名称了

bash 复制代码

/usr/local/mysql/mysql8/bin/mysqlbinlog --skip-gtids --database=dw --start-datetime="2024-12-12 16:26:00" --stop-datetime="2024-12-13 10:00:00" /home/weekeight/mysql/data/binlog.000014 > ./dw20241213100000.sql

把dw20241213100000.sql文件发送到目标服务器主库上面，从库不需要。

bash 复制代码

scp -r ./dw20241213100000.sql root@10.3.69.6:/usr/local/

下面在主库上导入sql

bash 复制代码

mysql -u root -p dw < dw20241213100000.sql

然后查看主库以及从库orders参数是否增加。

异常解决

@@SESSION.GTID_NEXT cannot be set to ANONYMOUS when @@GLOBAL.GTID_MODE = ON.

主库执行增量的sql文件时报错

binlog导出sql信息时使用--skip-gtids跳过GTID事件

Multiple channels exist on the slave. Please provide channel name as an argument

需要将从机的master清空（本机连接的有master的也要清空）

stop slave; reset slave all; reset master;

@@GLOBAL.GTID_PURGED cannot be changed: the added gtid set must not overlap with @@GLOBAL.GTID_EXECUTED

reset master;

@@GLOBAL.GTID_PURGED cannot be changed: the new value must be a superset of the old value

之前已经存在gtid了想再需要配置一个多个的

SET @@GLOBAL.GTID_PURGED='以前的gtid...,新的gtid';

结尾

至此MySQL迁移至一主一从已经全部搞定，如果有问题或者有其他好的方案望提议，共同学习。