TDengine数据迁移

前言

taosdump 是一个支持从运行中的 TDengine 集群备份数据并将备份的数据恢复到相同或另一个运行中的 TDengine 集群中的工具应用程序。

taosdump 可以用数据库、超级表或普通表作为逻辑数据单元进行备份,也可以对数据库、超级 表和普通表中指定时间段内的数据记录进行备份。使用时可以指定数据备份的目录路径,如果 不指定位置,taosdump 默认会将数据备份到当前目录。

如果指定的位置已经有数据文件,taosdump 会提示用户并立即退出,避免数据被覆盖。这意味着同一路径只能被用于一次备份。 如果看到相关提示,请小心操作。

一、taodump简介安装及使用

https://docs.taosdata.com/reference/taosdump/#简介

二、taoTools安装

安装包下载:https://docs.taosdata.com/releases/tools/

三、详细dump命令
Usage: taosdump [OPTION...] dbname [tbname ...]
  or:  taosdump [OPTION...] --databases db1,db2,...
  or:  taosdump [OPTION...] --all-databases
  or:  taosdump [OPTION...] -i inpath
  or:  taosdump [OPTION...] -o outpath

  -h, --host=HOST            Server host dumping data from. Default is
                             localhost.
  -p, --password             User password to connect to server. Default is
                             taosdata.
  -P, --port=PORT            Port to connect
  -u, --user=USER            User name used to connect to server. Default is
                             root.
  -c, --config-dir=CONFIG_DIR   Configure directory. Default is /etc/taos
  -i, --inpath=INPATH        Input file path.
  -o, --outpath=OUTPATH      Output file path.
  -r, --resultFile=RESULTFILE   DumpOut/In Result file path and name.
  -a, --allow-sys            Allow to dump system database
  -A, --all-databases        Dump all databases.
  -D, --databases=DATABASES  Dump inputted databases. Use comma to separate
                             databases' name.
  -e, --escape-character     Use escaped character for database name
  -N, --without-property     Dump database without its properties.
  -s, --schemaonly           Only dump tables' schema.
  -d, --avro-codec=snappy    Choose an avro codec among null, deflate, snappy,
                             and lzma.
  -S, --start-time=START_TIME   Start time to dump. Either epoch or
                             ISO8601/RFC3339 format is acceptable. ISO8601
                             format example: 2017-10-01T00:00:00.000+0800 or
                             2017-10-0100:00:00:000+0800 or '2017-10-01
                             00:00:00.000+0800'
  -E, --end-time=END_TIME    End time to dump. Either epoch or ISO8601/RFC3339
                             format is acceptable. ISO8601 format example:
                             2017-10-01T00:00:00.000+0800 or
                             2017-10-0100:00:00.000+0800 or '2017-10-01
                             00:00:00.000+0800'
  -B, --data-batch=DATA_BATCH   Number of data per query/insert statement when
                             backup/restore. Default value is 16384. If you see
                             'error actual dump .. batch ..' when backup or if
                             you see 'WAL size exceeds limit' error when
                             restore, please adjust the value to a smaller one
                             and try. The workable value is related to the
                             length of the row and type of table schema.
  -I, --inspect              inspect avro file content and print on screen
  -L, --loose-mode           Using loose mode if the table name and column name
                             use letter and number only. Default is NOT.
  -n, --no-escape            No escape char '`'. Default is using it.
  -Q, --dot-replace          Repalce dot character with underline character in
                             the table name.(Version 2.5.3)
  -T, --thread-num=THREAD_NUM   Number of thread for dump in file. Default is
                             8.
  -C, --cloud=CLOUD_DSN      specify a DSN to access TDengine cloud service
  -R, --restful              Use RESTful interface to connect TDengine
  -t, --timeout=SECONDS      The timeout seconds for websocket to interact.
  -g, --debug                Print debug info.
  -?, --help                 Give this help list
      --usage                Give a short usage message
  -V, --version              Print program version
  -W, --rename=RENAME-LIST   Rename database name with new name during
                             importing data. RENAME-LIST: 
                             "db1=newDB1|db2=newDB2" means rename db1 to newDB1
                             and rename db2 to newDB2 (Version 2.5.4)

Mandatory or optional arguments to long options are also mandatory or optional
for any corresponding short options.

Report bugs to <support@taosdata.com>.

dev环境TDengie数据按照时间导出

--查询TDengie中当前时间范围内的数据
select count(*) from 超级表 where time >='2024-01-01T00:00:00.000+0800' and time <= '2024-06-30T23:59:59.000+0800';
本次导出数量:3378
总数量:7383

--查询TDengine当前时间范围内的数据
select count(*) from 超级表 where time >='2024-01-01T00:00:00.000+0800' and time <= '2024-06-30T23:59:59.000+0800';
本次导出数量:3701
总数量:3944


当前时间范围内数据导出
taosdump -D 数据库名 -o /home/taosdata -S 2024-01-01T00:00:00.000+0800 -E 2024-06-30T23:59:59.000+0800

恢复当前导出的数据到另外一台TDengine(测试时使用的是我本地的虚拟机中安装的TDengine)
taosdump -u root -p 123456 -i /home/taosdata

dev环境TDengie数据增量导出

--TDengine中剩余数据:4005
select count(*) from 超级表 where time >= '2023-01-01T00:00:00.000+0800' and time < '2024-01-01T00:00:00.000+0800';

--TDengine中剩余数据:243
select count(*) from 超级表 where time >= '2023-01-01T00:00:00.000+0800' and time < '2024-01-01T00:00:00.000+0800';

--当前时间范围内的数据量
taosdump -D 数据库 -o /home/taosdata -S 2023-01-01T00:00:00.000+0800 -E 2024-01-01T00:00:00.000+0800

恢复当前导出的数据到另外一台TDengine(测试时使用的是我本地的虚拟机中安装的TDengine)
taosdump -u root -p 123456 -i /home/taosdata

四、TDengine 数据迁移完之后对比
迁移完成后,可以通过查询超级表中的数据的总数量来验证。

select count(*) from stb_charging_working_data;
select count(*) from stb_cp_chargingparameter_rpt_data;
相关推荐
路有瑶台3 分钟前
MySQL数据库学习(持续更新ing)
数据库·学习·mysql
数字扫地僧18 分钟前
WebLogic 版本升级的注意事项与流程
数据库
天冬忘忧29 分钟前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
Viktor_Ye35 分钟前
高效集成易快报与金蝶应付单的方案
java·前端·数据库
青云交1 小时前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储
zmd-zk1 小时前
flink学习(2)——wordcount案例
大数据·开发语言·学习·flink
电子手信1 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
努力算法的小明1 小时前
SQL 复杂查询
数据库·sql
斗-匕1 小时前
MySQL 三大日志详解
数据库·mysql·oracle
代码中の快捷键1 小时前
MySQL数据库存储引擎
数据库·mysql