# **基于TiDB Binlog架构的主备集群切换操作手册**

作者: Liuhaoao 原文来源: https://tidb.net/blog/dc65ef62

操作背景:最近手头有个系统,刚做完灾备建设及数据同步( 文章链接在这 ),需要进行灾备切换演练,验证灾备库建设是否符合预期。需要做相关测试并准备操作手册,供日后切换演练及主备切换使用。

环境准备:需要分别部署一主一备两套tidb集群,并搭建TiDB Binlog用于主备集群间数据同步,可以参考前一篇文章: 基于TiDB Binlog架构的主备集群部署及数据同步操作手册 ****

环境准备完成后,就可以开始主备切换操作了。

具体操作过程

1、停业务,待drainer追平主、备库数据

停止业务程序,确认业务不再有数据库写入操作。之后查询Drainer status 接口,如果返回 "Synced": true 表示主从同步完成。

markdown 复制代码
curl 'http://10.3.65.141:8249/status'
{"PumpPos":{"10.3.65.141:8250":440717746593595393},"Synced":true,"LastTS":440717747379765249,"TsMap":""}

2、使用sync-diff-inspector校验主从库数据是否一致

编辑配置文件:

markdown 复制代码
[tidb@localhost tidb-community-toolkit-v6.5.1-linux-arm64]$ vim sync.toml
######################### Global config #########################
check-thread-count = 4
export-fix-sql = true
check-struct-only = false


######################### Datasource config #########################
[data-sources]
[data-sources.tidb1] 
    host = "10.3.65.141"
    port = 4000
    user = "root"
    password = ""

[data-sources.tidb2]
    host = "10.3.65.142"
    port = 4000
    user = "root"
    password = ""

######################### Task config #########################
[task]
    output-dir = "./output"
    source-instances = ["tidb1"]
    target-instance = "tidb2"
    target-check-tables = ["test.t1","test.t2","test.t3"]

运行sync-diff,校验上下游数据是否一致:

markdown 复制代码
[tidb@localhost tidb-community-toolkit-v6.5.1-linux-arm64]$ ./sync_diff_inspector --config=sync.toml

3、关停主库到灾备库drainer同步链路后记录当前drainer同步TSO

markdown 复制代码
[tidb@localhost ~]$ tiup cluster stop tidb-1 -R drainer


MySQL [(none)]> select * from tidb_binlog.checkpoint;

4、使用dumpling/BR对灾备库进行数据全量备份(备份期间可继续进行下一步操作)

markdown 复制代码
./dumpling   -u root   -P 4000   -h 127.0.0.1 \
--filetype sql \
-t 8 \
-o $dumpdir \
 
./br backup full \
    --pd "127.0.0.1:2379" \
    --storage "local://$/brbackup" \
    --ratelimit 128 \
--log-file backupfull.log

5、启动应用并将访问入口切换为灾备集群负载均衡设备

将业务连接的负载均衡后端地址设置为灾备集群 TiDB 地址

6、搭建灾备库-->主库的数据同步链路

6.1 编辑搭建从灾备机房到主机房的复制链路所需拓扑文件

markdown 复制代码
[tidb@cips1 ~]$ vim scale-out-drainer_bak.yaml
 
drainer_servers:
  - host: 10.3.65.142
    port: 28249
    deploy_dir: /tidb-deploy/drainer-28249
    data_dir: /tidb-data/drainer-28249
    config:
      initial-commit-ts: 440739573139243009(查询上游checkpoint表tso)
      syncer.db-type: "tidb"
      syncer.to.host: "10.3.65.141"
      syncer.to.user: "drainer"
      syncer.to.password: "XXX"
      syncer.to.port: 4000

6.2 扩容灾备库到主库的drainer同步链路

markdown 复制代码
[tidb@cips1 ~]$ tiup cluster scale-out cips ./scale-out-drainer_bak.yaml --user tidb -p

7、切换完成,进行简单验证

登录灾备库grafana页面,查看QPS、connection count等指标,是否符合预期,相关日志是否正常输出。

注意事项

整个切换过程并不是特别复杂,但需要注意以下几点:

1、查看drainer同步TSO时,不只是通过tidb_binlog.checkpoint表查看,还可以查看drainer日志中write save point对应的TS:["write save point"] [ts=440739573139243009]或登录数据库,执行 show master status; ,查看Position列对应的TSO:

2、将灾备库数据全量备份,并不是必做选项,只是考虑到如果主库已经故障,业务切换到灾备库的情况下,将数据全量备份以防出现灾备库也故障等极端情况。实际操作过程中,可根据实际情况决定是否需要全量备份。

3、搭建灾备-->主的drainer同步链路时,需注意initial-commit-ts参数只可在新建的时候指定,如果该参数设置有误或需要调整,只能重新部署。

总结与思考:

灾备切换需要注意的有两点:

1)确保切换前主备数据一致,业务切换到灾备库后,可正常运行。

2)业务切换至灾备库后,增量数据可以在主库恢复后,正常同步至主库,不会有数据丢失。

后续业务回切至主库的操作步骤,与业务切换至备库操作过程一致,按步骤依次进行操作即可。

相关推荐
程序员不迷路1 小时前
湖仓一体学习-数据架构演进路线
架构
stormsha2 小时前
飞算JavaAI炫技赛电商系统商品管理模块的架构设计与实现
java·架构·鸿蒙系统
minh_coo2 小时前
Spring框架事件驱动架构核心注解之@EventListener
java·后端·spring·架构·intellij-idea
海上生明月丿5 小时前
微服务02
微服务·架构
RestCloud5 小时前
iPaaS 与传统 ESB 的区别,企业该如何选择?
前端·架构
百度智能云6 小时前
MySQL内核革新:智能拦截全表扫描,百度智能云守护数据库性能与安全
架构
LQ深蹲不写BUG6 小时前
微服务事务管理利器:Seata 核心原理与实践指南
微服务·云原生·架构
失散136 小时前
分布式专题——5 大厂Redis高并发缓存架构实战与性能优化
java·redis·分布式·缓存·架构
kida_yuan7 小时前
【从零开始】12. 一切回归原点
python·架构·nlp
正在起飞的蜗牛8 小时前
【C语言】函数指针的使用分析:回调、代码逻辑优化、代码架构分层
c语言·架构