国产数据库TiDB使用dumpling卸数与tidb-lightning导娄

DomDanrtsey2026-03-20 11:02

一、使用dumpling卸数：

--filetype csv指定导入格式

-o指定导出存储路径

-r按行数切分导出文件

-F按文件大小切分导出文件

1）、使用dumpling根据表清单卸数：

bash 复制代码

nohup /home/ap/nas/tools/Tidb_dumpling/dumpling -h数据库ip地址 -P4900 -u数据库用户 -p密码 -B数据库名 --filter "数据库名.表名1" --filter "数据库名.表名2" --filter "数据库名.表名n"  --filetype csv -t 8 -o /home/ap/nas/dumpling_tidb/20260319 -r 200000 -F256MiB > dumpling_tidb.out &

2）、使用dumpling全库卸数：

bash 复制代码

nohup /home/ap/nas/tools/Tidb_dumpling/dumpling -h你的IP地址. -P4900 -u数据库用户 -p密码 -B数据库名  --filetype csv -t 8 -o /home/ap/nas/dumpling_tidb/20260319 -r 200000 -F256MiB > dumpling_tidb.out &

二使用tidb-lightning

bash 复制代码

cat lightning-test.sh
#!/bin/bash
nohup /home/ap/nas/tidb_dumpling/tidb-lightning -config tidb-lightning-test.toml > nohup-test.out &

cat tidb-lightning-test.toml
[lightning]
server-mode = false
status-addr = ':0'
# 转换数据的并发数，默认为逻辑 CPU 数量，不需要配置。
# 混合部署的情况下可以配置为逻辑 CPU 的 75% 大小。
region-concurrency = 8
check-requirements = false
# 日志
level = "info"
file = "/home/ap/nas_a/tidb_dumpling/tidb-lightning-test.log"

#回滚点
[checkpoint]
 enable = true
 driver = "file"
 dsn = "/home/ap/nas_a/tidb_dumpling/tidb_lightning_checkpoint.pb"

[tikv-importer]
# backend 设置为 local 模式
backend = "tidb"
# 设置本地临时存储路径
sorted-kv-dir = "/home/ap/nas_a/tidb_dumpling/lightning/sorted-kv-dir"
[mydumper]
# 源数据目录。
data-source-dir = "/home/ap/nas_a/tidb_dumpling/test"
[tidb]
# 目标集群的信息。tidb-server 的监听地址，填一个即可。
host = "数据库ip地址"
port = 4900
user = "数据库用户名"
password = "密码"
# 表架构信息在从 TiDB 的"状态端口"获取。
status-port = 10080