使用clickhouse-backup做数据备份与还原

一、clickhouse-backup 简介

clickhouse-backup 是社区开源的一个 clickhouse 备份工具,可用于实现数据迁移。其原理是先创建一个备份,然后从备份导入数据,类似于 MySQL 的 mysql dump + source。

使用限制

  • 支持1.154390以上的 clickhouse
  • 仅支持 MergeTree 系列表引擎
  • 不支持备份 Tiered storage 或 stora_policy
  • 云存储上的最大备份大小为 5TB
  • AWS S3上的 parts 数量最大为 10000

二、clickhouse-backup 安装

2.1、解压安装包

bash 复制代码
tar -zxf clickhouse-backup-linux-amd64.tar.gz -C /opt/module

解压后在 /opt/module 目录下会有一个build 目录

2.2、创建软连接

bash 复制代码
sudo ln -sv /opt/module/build/linux/amd64/clickhouse-backup /usr/local/bin/

2.3、测试 clickhouse-backup命令

bash 复制代码
clickhouse-backup -v

2.4、创建配置文件

bash 复制代码
sudo mkdir -p /etc/clickhouse-backup/
vim /etc/clickhouse-backup/config.yml
yaml 复制代码
general:
  remote_storage: none
  backups_to_keep_local: 0 # 本地备份保留个数,默认0表示不自动做备份清理
  log_level: info
clickhouse:
  username: default #clickhouse 用户名
  password: #密码
  host: node1         #实际节点hostname
  port: 9000 # tcp 端口
  data_path: "/data/lib/clickhouse" #clickhouse的数据的实际存储位置
  skip_tables:
    - system.*
    - INFORMATION_SCHEMA.*
    - information_schema.*
  config_dir: "/etc/clickhouse-server"

更多相关配置可以看官网 https://github.com/Altinity/clickhouse-backup?tab=readme-ov-file

三、备份数据

3.1、全库(default 库)备份

语法:

bash 复制代码
clickhouse-backup create [-t, --tables=<db>.<table>] <backup_name>

例子:

bash 复制代码
sudo clickhouse-backup create -t default.* default_back_0225

3.2、备份单个表

例子:

bash 复制代码
sudo clickhouse-backup create  -t default.test test_back_0225 

3.3、备份多个表

例子:

bash 复制代码
sudo clickhouse-backup create  -t default.test1,default.test2 test1_test2_back_0225

四、使用备份还原数据

将 default_back_0225 目录整个目录传送到目标服务器的/data/lib/clickhouse/backup 目录下,然后执行命令

bash 复制代码
clickhouse-backup restore  default_back_0225 --data

运行完成后可以查看数据是否迁移成功

单表从备份还原

使用 --schema 恢复表的表结构

bash 复制代码
clickhouse-backup restore 备份名 --table 库名.表名  --schema

用 --data 恢复表中数据(注意:由于是ATTACH PARTITION操作,如果执行2次的话,数据会翻倍)

bash 复制代码
clickhouse-backup restore 备份名 --table 库名.表名  --data
  • 注意:如果是从单节点的 MergeTree 引擎表还原至多节点的分布式本地表的ReplicatedMergeTree 引擎表,需要目标服务器已经建好库和表,库中表名与表结构需要和备份库一致。
相关推荐
思通数科AI全行业智能NLP系统37 分钟前
AI视频技术赋能幼儿园安全——教师离岗报警系统的智慧守护
大数据·人工智能·安全·目标检测·目标跟踪·自然语言处理·ocr
程序员沉梦听雨3 小时前
【Elasticsearch】入门篇
大数据·elasticsearch·搜索引擎
Gadus_3 小时前
Elasticsearch性能优化实践
大数据·elasticsearch·搜索引擎·性能优化
程序猿(雷霆之王)3 小时前
Linux——进程间通信
linux·运维·服务器
riveting4 小时前
SD2351核心板:重构AI视觉产业价值链的“超级节点”
大数据·linux·图像处理·人工智能·重构·智能硬件
易保山5 小时前
MIT6.S081 - Lab10 mmap(文件&内存映射)
linux·操作系统·c
禅与Bug的修复艺术5 小时前
JAVA后端开发常用的LINUX命令总结
java·linux·面试·java面试·后端开发·java后端·面试经验
欧先生^_^5 小时前
Spark 的一些典型应用场景及具体示例
大数据·分布式·spark
北冥有鱼被烹6 小时前
【微知】/proc中如何查看Linux内核是否允许加载内核模块?(/proc/sys/kernel/modules_disabled)
linux·服务器
八股文领域大手子6 小时前
如何给GitHub项目提PR(踩坑记录
大数据·elasticsearch·github