六、TiDB Cluster 升级
1、打补丁
# tidb 补丁打法
tiup cluster patch 集群名称 /tmp/***.tar.gz -R tidb
# tikv 补丁打法
tiup cluster patch 集群名称 /tmp/***.tar.gz -R tikv
。。。。
2、TiDB Cluster 版本升级
升级分为停机升级和不停机升级，但是不停机升级也会重启一些组件
# 首先将 tiup 工具升级到最新版本（建议高于1.4）
tiup update --self
# --self //表示将 tiup 升级到最新版本
# --all //表示将所有组件升级到稳定版本
# 升级 cluster 组件
tiup update cluster:v1.8.1 //修改为自己需要的版本
# 修改tiup cluster 拓扑配置文件 //因为老版本和新版可能存在差异 详解见官方文档
tiup cluster edit-config test
# 检查健康状态(regions)
tiup cluster check test --cluster # 检查时会有些fail和Warn可以选择性优化
# 不停机升级（必要时也会重启一些组件）
tiup cluster upgrade test v5.3.0
注意：
滚动升级会逐个升级所有的组件。升级 TiKV 期间，会逐个将 TiKV 上的所有 leader 切走再停止该 TiKV 实例。默认超时时间为 5 分钟（300 秒），超时后会直接停止该实例。
如果不希望驱逐 leader，而希望快速升级集群至新版本，可以在上述命令中指定 --force，该方式会造成性能抖动，不会造成数据损失。
如果希望保持性能稳定，则需要保证 TiKV 上的所有 leader 驱逐完成后再停止该 TiKV 实例，可以指定 --transfer-timeout 为一个更大的值，如 --transfer-timeout 3600，单位为秒。
# 停机升级
tiup cluster stop test # 先停止集群
tiup cluster upgrade test v5.3.0 --offline # 执行升级
tiup cluster start test # 启动集群
# 查看集群状态
tiup cluster display test
七、逻辑备份恢复
使用 Dumpling/TiDB Lightning 对 TiDB 进行全量备份与恢复。增量备份和同步可使用 TiDB Binlog。在这个备份恢复过程中，会用到下面的工具：
Dumpling：从 TiDB 导出数据
TiDB Lightning：导入数据到 TiDB
Dumpling/TiDB Lightning 全量备份恢复最佳实践
为了快速地备份恢复数据（特别是数据量巨大的库），可以参考以下建议：
- 导出来的数据文件应当尽可能的小，可以通过设置选项 `-F` 来控制导出来的文件大小。如果后续使用 TiDB Lightning 对备份文件进行恢复，建议把 `dumpling` -F 选项的值设置为 `256m`。
- 如果导出的表中有些表的行数非常多，可以通过设置选项 `-r` 来开启表内并发。
dumpling 默认不导出系统表
1、TiDB 备份数据
安装dumpling 可以通过 TiDB Release 查看当前已发布版本。
# tiup 工具安装
tiup install dumpling
# 下载包安装
wget https://download.pingcap.org/tidb-toolkit-v5.3.0-linux-amd64.tar.gz
# 解压
tar xf tidb-toolkit-v5.3.0-linux-amd64.tar.gz
最低使用权限
SELECT
RELOAD
LOCK TABLES
REPLICATION CLIENT
PROCESS
参数详解
-h、-P、-u 分别代表地址、端口、用户。如果需要密码验证，可以使用 -p $YOUR_SECRET_PASSWORD 将密码传给 Dumpling。
-o 用于选择存储导出文件的目录，支持本地文件路径或外部存储 URL 格式。
-t 用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度，但也会加大数据库内存消耗，因此不宜设置过大。一般不超过 64。
-r 用于指定单个文件的最大行数，指定该参数后 Dumpling 会开启表内并发加速导出，同时减少内存使用。当上游为 TiDB 且版本为 v3.0 或更新版本时，该参数大于 0 表示使用 TiDB region 信息划分表内并发，具体取值将不再生效。
-F 选项用于指定单个文件的最大大小，单位为 MiB，可接受类似 5GiB 或 8KB 的输入。如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中，建议将 -F 选项的值保持在 256 MiB 或以下。
--sql 选项仅仅可用于导出 CSV 的场景。
-B 备份的库
-d 不保存数据
如果导出的单表大小超过 10 GB，强烈建议使用 -r 和 -F 参数。
导出sql文件 (如/tmp/test目录有相同名字的内容将会被覆盖)
# 多表导出
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-t 32 \
-F 256m \
-T test.t1 \
-T test.t2 \
-o /tmp/test
# 指定库导出
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-t 32 \
-F 256m \
-B test \
-o /tmp/test
导出CSV文件
假如导出数据的格式是 CSV（使用 --filetype csv 即可导出 CSV 文件），还可以使用 --sql <SQL> 导出指定 SQL 选择出来的记录，例如，导出 test.sbtest1 中所有 id < 100 的记录：
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/dumpling \
-h 127.0.0.1 \
-P 4000 \
-u root \
-p'123.00' \
-o /tmp/test_t1 \
--filetype csv \
--sql 'select * from `test`.`t1` where id < 100'
2、TiDB 恢复数据
**注意：**备份所在目录和kv(存储节点)不能在同一磁盘上，否则无法通过检查
进入bin目录
cd /root/tidb-toolkit-v5.0.1-linux-amd64/bin/
编辑导入配置信息
vim tidb-lightning.toml
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
# 选择使用的 local 后端
backend = "local"
# 设置排序的键值对的临时存放地址，目标路径需要是一个空目录
sorted-kv-dir = "/tmp/tmp"
[mydumper]
# mydumper 源数据目录(备份所在文件)
data-source-dir = "/boot/test/"
[tidb]
# 目标集群连接信息
host = "10.10.8.107"
port = 4000
user = "root"
password='123.00'
# 表架构信息在从 TiDB 的"状态端口"获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "10.10.8.107:2379"
指定配置文件导入
这里推荐使用 nohup 的方式后台执行恢复操作
# 使用脚本运行命令
vim test_lightning.sh
#! /bin/bash
/root/tidb-toolkit-v5.3.0-linux-amd64/bin/tidb-lightning -config /root/tidb-toolkit-v5.3.0-linux-amd64/bin/tidb-lightning.toml
# 运行脚本
nohup sh test_lightning.sh >test_lightning.log &
断点续传
1、配置文件配置参数
vim tidb-lightning.toml
[checkpoint]
enable = true
# 断点信息存储
driver = 'file' # 如果不设置该参数则默认为 `/tmp/CHECKPOINT_SCHEMA.pb`
# 导入成功后是否保留断点。默认为删除。
# 保留断点可用于调试，但有可能泄漏数据源的元数据。
keep-after-success = false
2、命令行控制参数--checkpoint-error-destroy
# 让失败的表重新开始导入
示例：
## 该命令会让失败的表从头开始整个导入过程。选项中的架构和表名必须以反引号 (`) 包裹，而且区分大小写
--checkpoint-error-destroy='`schema`.`table`'
## 传入 "all" 会对所有表进行上述操作。这是最方便、安全但保守的断点错误解决方法(推荐使用)
tidb-lightning-ctl --checkpoint-error-destroy=all
3、命令行控制参数--checkpoint-error-ignore
# 忽略出错状态，忽略错误继续导入
示例：
--checkpoint-error-ignore='`schema`.`table`'
--checkpoint-error-ignore=all
## 如果导入的地方出错了，也会忽略错误接着倒入。
4、命令行控制参数--checkpoint-remove
# 只要断点传输出现错误，所有数据重新导入
--checkpoint-remove='`schema`.`table`'
--checkpoint-remove=all
库表过滤(4.0以上版本)
1、命令行
# 在命令行中使用多个 -f 或 --filter 参数
--filter=test.t*,test1.t*
2、配置文件配置
vim tidb-lightning.toml
[mydumper]
filter = ['foo*.*', 'bar*.*']
3、支持的通配符
db[0-9].tbl[0-9a-f][0-9a-f]
data.*
*.backup_*
lightning web界面配置
1、命令行配置方法
./tidb-lightning --server-mode --status-addr :8289
2、配置文件配置方法
vim tidb-lightning.toml
[lightning]
server-mode = true
status-addr = ':8289'
3、访问方法
打开网页访问 "http://IP:8289" 即可
# 数据量小的情况下是无法打开web界面的，导入完成后会自动关闭web程序