linux上mysql数据备份(全量备份策略+增量备份策略)

执行备份策略前，先做好scp命令的准备

解决思路：

生成SSH公钥/私钥后，您需要将公钥添加到服务器上，从而使服务器可以使用该公钥来验证您的身份。

生成SSH公钥/私钥的命令为

bash 复制代码

ssh-keygen -t rsa -b 4096

什么都不用输入，直接下一步即可

生成SSH公钥/私钥后，您需要将公钥添加到服务器上，从而使服务器可以使用该公钥来验证您的身份。-p指定端口

bash 复制代码

ssh-copy-id -p85 [email protected]

添加成功后，您可以使用以下命令测试身份验证是否成功：

bash 复制代码

ssh -p85 [email protected]

出现一下截图表示成功

mysql数据备份

先查看my.cnf是在哪个目录

复制代码

locate my.cnf

二.mysql数据备份

先查看my.cnf是在哪个目录

复制代码

locate my.cnf

查看mysql默认读取的my.cnf

bash 复制代码

mysql --help|grep 'my.cnf'

1.增量备份（本地服务器+正式环境）

1.1 开启二进制并配置my.cnf

查看是否开启二进制日志，输入一下命令

复制代码

show variables like 'log_bin';

如果出现一下截图的话，表示二进制日志未开启。

复制代码

vi /etc/my.cnf目录下开启二进制日志

ps：自己定义二进制日志存存放的路径，默认是放在/var/lib/mysql 路径

先新建目录

复制代码

cd /home

mkdir mysql

cd mysql

mkdir binlog

#为目录设置mysql权限

chown -R mysql.mysql /home/mysql/binlog

chown -R mysql.mysql /home/mysql/

在/etc/my.cnf增加配置

复制代码

#二进制存放的文件格式
log-bin=/home/mysql/binlog/mysql-bin
#当前机器的服务ID
server-id=254
#二进制日志的格式
binlog_format = MIXED	
#设置binlog清理时间
expire_logs_days = 30



#看到我们写入的sql语句格式
binlog_rows_query_log_events = 1
#binlog缓存大小
binlog_cache_size = 4m

#binlog每个日志文件大小默认大小，如果超过该值，则产生新的二进制文件，后缀名+1

max_binlog_size = 1024m

二进制日志的格式

A) binlog_format 在mysql5.7默认是row，不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志，尤其是alter table的时候会让日志暴涨

例如：update a < 10 的数据，statement模式会记录这一条sql,而row模式的话，会记录a=1,a=2到a=9所有的记录的更改

B) STATEMENT模式每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化，减少了binlog日志量，节约IO，提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数， last_insert_id()，以及user-defined functions(udf)等会出现问题

C) MIXED模式以上两种模式的混合使用，一般的复制使用STATEMENT模式保存binlog，对于STATEMENT模式无法复制的操作使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。

重启mysql

复制代码

systemctl restart mysqld

可能会出现报错

解决方案：

执行一下命令

复制代码

setenforce 0

然后再进行重启即可

查看mysql状态

复制代码

systemctl status mysqld

查看日志

复制代码

tail -2000f /var/log/mysqld.log

去查配置是否生效，可以看出，已经生效了

1.2 bin日志的备份和还原演示

（1）首先我们先建立一个test数据库，并且里面有temp_test 表

这时候我们执行下命令可以输出二进制日志

sql 复制代码

mysqlbinlog --no-defaults --base64-output=decode-rows -v /home/mysql/binlog/mysql-bin.000002

可以看到，对应的sql语句都记录下来了

根据时间点增量进行备份还原

然后再把temp_test这张表给删除

然后我们看一下bin日志

复制代码

mysqlbinlog --no-defaults --base64-output=decode-rows -v /home/mysql/binlog/mysql-bin.000002

根据时间点进行恢复

复制代码

mysqlbinlog --no-defaults --start-datetime='2023-09-06 09:21:13' --stop-datetime='2023-09-06 09:26:37' mysql-bin.000002 | mysql -u root -p

输入mysql密码

可以看到这段时间范围的数据已恢复，注意，开始时间和结束时间要大于日志记录的时间，比如结束时间记录的是 2023-09-06 09:26:36 你要写成 2023-09-06 09:26:37

1.3 定时执行备份脚本（本地服务器+正式环境）

本地服务器要新建目录脚本，以时间进行命名

在目录/home/backups/mysql/binlogdata 下新建 date.sh(本地服务器)

复制代码

#!/bin/bash     
echo '开始新建binlogdata 目录'
DATE=`date +%Y%m%d`            #定义时间的格式，注意需要反引号。
DIR=/home/backups/mysql/binlogdata        #这里定义创建文件夹的地址。
mkdir  -p  $DIR/$DATE          #创建文件夹的语句，把上面两个变量引用进来。
echo '新建binlogdata 目录完成'

赋值权限

复制代码

chmod 777 date.sh

并且也设置脚本执行的时间

复制代码

crontab -e

输入备份的时间（每天23:59都进行备份作业）

复制代码

58 23 * * *  /home/backups/mysql/binlogdata/date.sh> /tmp/load.log 2>&1

在/home/mysql/binlogdata目录下新建脚本（正式服务器）

新建binlog.sh脚本

复制代码

touch binlog.sh

#并赋予权限
chmod 777 binlog.sh

添加下面脚本内容

复制代码

#!/bin/bash     
DATE=`date +%Y%m%d`            #定义时间的格式，注意需要反引号。
REMOTEDIR=/home/backups/mysql/binlogdata  #远程本地服务器地址路径

localData=/home/mysql/binlog/    #本机数据地址路径
echo "开始进行数据迁移到本地服务器"
expect << EOF
set timeout -1
spawn scp -P 85 -r $localData  [email protected]:$REMOTEDIR/$DATE
expect eof
exit
EOF
echo "数据迁移到本地服务器结束"

执行备份策略

复制代码

crontab -e

输入备份的时间（每天23:59都进行备份作业）

复制代码

59 23 * * * /home/mysql/binlog.sh> /tmp/load.log 2>&1

查看任务列表

复制代码

crontab -l

2.全量备份（只需正式环境部署脚本）

增量备份策略：每周六凌晨1点执行备份策略

在 /home/mysql/allsql 目录下新建脚本

复制代码

touch backupsql.sh

输入一下内容

sql 复制代码

#!/bin/bash     
echo '开始新建目录'
DATE=`date +%Y%m%d`            #定义时间的格式，注意需要反引号。
NYSQLDIR=/home/mysql/allsql         #这里定义创建文件夹的地址。
mkdir  -p  $NYSQLDIR/$DATE          #创建文件夹的语句，把上面两个变量引用进来。
REMOTEDIR=/home/backups/mysql/allsql      #远程本地服务器配置路径      
echo '新建目录完成'

echo '开始执行 smkj-pro-backend备份操作'
mysqldump -u dev -pPassword@hwgy01dev --databases smkj-pro-backend > $NYSQLDIR/$DATE/smkj-pro-backend_$(date +%Y%m%d_%H%M).sql


echo '开始执行 smkj-pro-backend备份操作'
echo '=================================='

echo '开始执行 smkj-pro-base备份操作'
mysqldump -u dev -pPassword@hwgy01dev --databases smkj-pro-base > $NYSQLDIR/$DATE/smkj-pro-base_$(date +%Y%m%d_%H%M).sql
echo '开始执行 smkj-pro-base备份操作'
echo '=================================='


echo '开始执行 smkj-pro-shop备份操作'
mysqldump -u dev -pPassword@hwgy01dev --databases smkj-pro-shop > $NYSQLDIR/$DATE/smkj-pro-shop_$(date +%Y%m%d_%H%M).sql
echo '开始执行 smkj-pro-shop备份操作'
echo '=================================='

echo '开始执行 smkj-pro-user备份操作'
mysqldump -u dev -pPassword@hwgy01dev --databases smkj-pro-user > $NYSQLDIR/$DATE/smkj-pro-user_$(date +%Y%m%d_%H%M).sql
echo '开始执行 smkj-pro-user备份操作'
echo '=================================='


echo '开始执行 smkj-pro-job备份操作'
mysqldump -u dev -pPassword@hwgy01dev --databases smkj-pro-job > $NYSQLDIR/$DATE/smkj-pro-job_$(date +%Y%m%d_%H%M).sql
echo '开始执行 smkj-pro-job备份操作'

echo '======全部备份结束========='




echo "开始进行数据迁移到本地服务器"
expect << EOF
set timeout -1
spawn scp -P 85 -r $NYSQLDIR/$DATE  [email protected]:$REMOTEDIR/
expect eof
exit
EOF
echo "数据迁移到本地服务器结束"

执行定时任务启动脚本

复制代码

crontab -e

输入（意思是每天凌晨20份执行脚本，考虑到目前数据库数据整体大小不大，后续数据库量大再进行策略调整）

复制代码

20 0 * * *  /home/mysql/allsql/backupsql.sh > /tmp/load.log 2>&1

查看任务列表

复制代码

crontab -l