【TiDB原理与实战详解】3、 集群升级和逻辑备份恢复~学不会? 不存在的!

六、TiDB Cluster 升级

1、打补丁
复制代码
# tidb 补丁打法
tiup  cluster patch  集群名称  /tmp/***.tar.gz  -R tidb

# tikv 补丁打法
tiup  cluster patch  集群名称  /tmp/***.tar.gz  -R tikv

。。。。
2、TiDB Cluster 版本升级

升级分为停机升级和不停机升级,但是不停机升级也会重启一些组件

复制代码
# 首先将 tiup 工具升级到最新版本(建议高于1.4)
tiup update --self
# --self //表示将 tiup 升级到最新版本
# --all  //表示将所有组件升级到稳定版本

# 升级 cluster 组件
tiup update  cluster:v1.8.1  //修改为自己需要的版本

# 修改tiup cluster 拓扑配置文件  //因为老版本和新版可能存在差异 详解见官方文档
tiup cluster edit-config test

# 检查健康状态(regions)
tiup cluster check test  --cluster  # 检查时会有些fail和Warn可以选择性优化

# 不停机升级(必要时也会重启一些组件)
tiup cluster upgrade test  v5.3.0

注意:
滚动升级会逐个升级所有的组件。升级 TiKV 期间,会逐个将 TiKV 上的所有 leader 切走再停止该 TiKV 实例。默认超时时间为 5 分钟(300 秒),超时后会直接停止该实例。
如果不希望驱逐 leader,而希望快速升级集群至新版本,可以在上述命令中指定 --force,该方式会造成性能抖动,不会造成数据损失。
如果希望保持性能稳定,则需要保证 TiKV 上的所有 leader 驱逐完成后再停止该 TiKV 实例,可以指定 --transfer-timeout 为一个更大的值,如 --transfer-timeout 3600,单位为秒。

# 停机升级
tiup cluster stop test # 先停止集群
tiup cluster upgrade test v5.3.0  --offline  # 执行升级
tiup cluster start test # 启动集群

# 查看集群状态
tiup cluster display test

七、逻辑备份恢复

复制代码
使用 Dumpling/TiDB Lightning 对 TiDB 进行全量备份与恢复。增量备份和同步可使用 TiDB Binlog。在这个备份恢复过程中,会用到下面的工具:
Dumpling:从 TiDB 导出数据
TiDB Lightning:导入数据到 TiDB

Dumpling/TiDB Lightning 全量备份恢复最佳实践

为了快速地备份恢复数据(特别是数据量巨大的库),可以参考以下建议:

- 导出来的数据文件应当尽可能的小,可以通过设置选项 `-F` 来控制导出来的文件大小。如果后续使用 TiDB Lightning 对备份文件进行恢复,建议把 `dumpling` -F 选项的值设置为 `256m`。
- 如果导出的表中有些表的行数非常多,可以通过设置选项 `-r` 来开启表内并发。

dumpling 默认不导出系统表
1、TiDB 备份数据

安装dumpling 可以通过 TiDB Release 查看当前已发布版本。

复制代码
# tiup 工具安装
tiup install dumpling

# 下载包安装
wget  https://download.pingcap.org/tidb-toolkit-v5.3.0-linux-amd64.tar.gz

# 解压
tar xf tidb-toolkit-v5.3.0-linux-amd64.tar.gz

最低使用权限

复制代码
SELECT
RELOAD
LOCK TABLES
REPLICATION CLIENT
PROCESS

参数详解

复制代码
-h、-P、-u 分别代表地址、端口、用户。如果需要密码验证,可以使用 -p $YOUR_SECRET_PASSWORD 将密码传给 Dumpling。
-o 用于选择存储导出文件的目录,支持本地文件路径或外部存储 URL 格式。
-t 用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度,但也会加大数据库内存消耗,因此不宜设置过大。一般不超过 64。
-r 用于指定单个文件的最大行数,指定该参数后 Dumpling 会开启表内并发加速导出,同时减少内存使用。当上游为 TiDB 且版本为 v3.0 或更新版本时,该参数大于 0 表示使用 TiDB region 信息划分表内并发,具体取值将不再生效。
-F 选项用于指定单个文件的最大大小,单位为 MiB,可接受类似 5GiB 或 8KB 的输入。如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中,建议将 -F 选项的值保持在 256 MiB 或以下。	
--sql 选项仅仅可用于导出 CSV 的场景。
-B 备份的库
-d 不保存数据


如果导出的单表大小超过 10 GB,强烈建议使用 -r 和 -F 参数。

导出sql文件 (如/tmp/test目录有相同名字的内容将会被覆盖)

复制代码
# 多表导出
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-t 32 \
-F 256m \
-T test.t1 \
-T test.t2  \
-o /tmp/test

# 指定库导出
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-t 32 \
-F 256m \
-B test \
-o /tmp/test

导出CSV文件

假如导出数据的格式是 CSV(使用 --filetype csv 即可导出 CSV 文件),还可以使用 --sql <SQL> 导出指定 SQL 选择出来的记录,例如,导出 test.sbtest1 中所有 id < 100 的记录:

复制代码
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-o /tmp/test_t1 \
--filetype csv \
--sql 'select * from `test`.`t1` where id < 100'
2、TiDB 恢复数据

**注意:**备份所在目录和kv(存储节点)不能在同一磁盘上,否则无法通过检查

进入bin目录

复制代码
cd /root/tidb-toolkit-v5.0.1-linux-amd64/bin/

编辑导入配置信息

复制代码
vim  tidb-lightning.toml
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"

[tikv-importer]
# 选择使用的 local 后端
backend = "local"
# 设置排序的键值对的临时存放地址,目标路径需要是一个空目录
sorted-kv-dir = "/tmp/tmp"

[mydumper]
# mydumper 源数据目录(备份所在文件)
data-source-dir = "/boot/test/"

[tidb]
# 目标集群连接信息
host = "10.10.8.107"
port = 4000
user = "root"
password='123.00'

# 表架构信息在从 TiDB 的"状态端口"获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "10.10.8.107:2379"

指定配置文件导入

复制代码
	这里推荐使用 nohup  的方式后台执行恢复操作

# 使用脚本运行命令
vim test_lightning.sh
#! /bin/bash
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/tidb-lightning -config    /root/tidb-toolkit-v5.3.0-linux-amd64/bin/tidb-lightning.toml  

# 运行脚本
nohup  sh test_lightning.sh >test_lightning.log &

断点续传

1、配置文件配置参数

复制代码
vim  tidb-lightning.toml 
[checkpoint]
enable = true

# 断点信息存储
driver = 'file' # 如果不设置该参数则默认为 `/tmp/CHECKPOINT_SCHEMA.pb`

# 导入成功后是否保留断点。默认为删除。
# 保留断点可用于调试,但有可能泄漏数据源的元数据。
keep-after-success = false

2、命令行控制参数--checkpoint-error-destroy

复制代码
# 让失败的表重新开始导入
示例:

## 该命令会让失败的表从头开始整个导入过程。选项中的架构和表名必须以反引号 (`) 包裹,而且区分大小写
--checkpoint-error-destroy='`schema`.`table`'

## 传入 "all" 会对所有表进行上述操作。这是最方便、安全但保守的断点错误解决方法(推荐使用)
tidb-lightning-ctl --checkpoint-error-destroy=all

3、命令行控制参数--checkpoint-error-ignore

复制代码
# 忽略出错状态,忽略错误继续导入
示例:
--checkpoint-error-ignore='`schema`.`table`' 
--checkpoint-error-ignore=all

## 如果导入的地方出错了,也会忽略错误接着倒入。

4、命令行控制参数--checkpoint-remove

复制代码
# 只要断点传输出现错误,所有数据重新导入
--checkpoint-remove='`schema`.`table`'
--checkpoint-remove=all

库表过滤(4.0以上版本)

1、命令行

复制代码
# 在命令行中使用多个 -f 或 --filter 参数
--filter=test.t*,test1.t*

2、配置文件配置

复制代码
vim  tidb-lightning.toml 
[mydumper]
filter = ['foo*.*', 'bar*.*']

3、支持的通配符

复制代码
db[0-9].tbl[0-9a-f][0-9a-f]
data.*
*.backup_*

lightning web界面配置

1、命令行配置方法

复制代码
./tidb-lightning --server-mode --status-addr :8289

2、配置文件配置方法

复制代码
vim  tidb-lightning.toml
[lightning]
server-mode = true
status-addr = ':8289'

3、访问方法

复制代码
打开网页访问 "http://IP:8289" 即可

# 数据量小的情况下是无法打开web界面的,导入完成后会自动关闭web程序
相关推荐
松果猿4 分钟前
空间数据库学习(二)—— PostgreSQL数据库的备份转储和导入恢复
数据库
无名之逆12 分钟前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
s91236010112 分钟前
rust 同时处理多个异步任务
java·数据库·rust
大丈夫立于天地间13 分钟前
ISIS协议中的数据库同步
运维·网络·信息与通信
你觉得20516 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
数据智能老司机20 分钟前
CockroachDB权威指南——CockroachDB 架构
数据库·分布式·架构
啊喜拔牙25 分钟前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊31 分钟前
MapReduce工作原理
大数据·mapreduce
8K超高清33 分钟前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hzulwy43 分钟前
Redis常用的数据结构及其使用场景
数据库·redis