使用clickhouse-backup做数据备份与还原

一、clickhouse-backup 简介

clickhouse-backup 是社区开源的一个 clickhouse 备份工具,可用于实现数据迁移。其原理是先创建一个备份,然后从备份导入数据,类似于 MySQL 的 mysql dump + source。

使用限制

  • 支持1.154390以上的 clickhouse
  • 仅支持 MergeTree 系列表引擎
  • 不支持备份 Tiered storage 或 stora_policy
  • 云存储上的最大备份大小为 5TB
  • AWS S3上的 parts 数量最大为 10000

二、clickhouse-backup 安装

2.1、解压安装包

bash 复制代码
tar -zxf clickhouse-backup-linux-amd64.tar.gz -C /opt/module

解压后在 /opt/module 目录下会有一个build 目录

2.2、创建软连接

bash 复制代码
sudo ln -sv /opt/module/build/linux/amd64/clickhouse-backup /usr/local/bin/

2.3、测试 clickhouse-backup命令

bash 复制代码
clickhouse-backup -v

2.4、创建配置文件

bash 复制代码
sudo mkdir -p /etc/clickhouse-backup/
vim /etc/clickhouse-backup/config.yml
yaml 复制代码
general:
  remote_storage: none
  backups_to_keep_local: 0 # 本地备份保留个数,默认0表示不自动做备份清理
  log_level: info
clickhouse:
  username: default #clickhouse 用户名
  password: #密码
  host: node1         #实际节点hostname
  port: 9000 # tcp 端口
  data_path: "/data/lib/clickhouse" #clickhouse的数据的实际存储位置
  skip_tables:
    - system.*
    - INFORMATION_SCHEMA.*
    - information_schema.*
  config_dir: "/etc/clickhouse-server"

更多相关配置可以看官网 https://github.com/Altinity/clickhouse-backup?tab=readme-ov-file

三、备份数据

3.1、全库(default 库)备份

语法:

bash 复制代码
clickhouse-backup create [-t, --tables=<db>.<table>] <backup_name>

例子:

bash 复制代码
sudo clickhouse-backup create -t default.* default_back_0225

3.2、备份单个表

例子:

bash 复制代码
sudo clickhouse-backup create  -t default.test test_back_0225 

3.3、备份多个表

例子:

bash 复制代码
sudo clickhouse-backup create  -t default.test1,default.test2 test1_test2_back_0225

四、使用备份还原数据

将 default_back_0225 目录整个目录传送到目标服务器的/data/lib/clickhouse/backup 目录下,然后执行命令

bash 复制代码
clickhouse-backup restore  default_back_0225 --data

运行完成后可以查看数据是否迁移成功

单表从备份还原

使用 --schema 恢复表的表结构

bash 复制代码
clickhouse-backup restore 备份名 --table 库名.表名  --schema

用 --data 恢复表中数据(注意:由于是ATTACH PARTITION操作,如果执行2次的话,数据会翻倍)

bash 复制代码
clickhouse-backup restore 备份名 --table 库名.表名  --data
  • 注意:如果是从单节点的 MergeTree 引擎表还原至多节点的分布式本地表的ReplicatedMergeTree 引擎表,需要目标服务器已经建好库和表,库中表名与表结构需要和备份库一致。
相关推荐
XXYBMOOO2 分钟前
Xilinx-FPGA-PCIe-XDMA 驱动内核兼容性问题修复方案
linux·运维·服务器
爱学习的狮王44 分钟前
window10和ubuntu22.04双系统之卸载ubuntu系统
linux·运维·ubuntu
DIY全栈开发1 小时前
ESP32S3 Ubuntu vscode如何使用USB-JTAG调试
linux·vscode·ubuntu
努力自学的小夏1 小时前
RK3568 Linux驱动学习——Linux驱动开发准备工作
linux·驱动开发·笔记·学习
wifi chicken1 小时前
Linux Wlan 无线网络驱动开发-scan协议全流程详解
linux·驱动开发·wifi协议·驱动学习
zxsz_com_cn1 小时前
智能化设备健康管理:中讯烛龙预测性维护系统引领行业变革
大数据·架构
Pigwantofly2 小时前
SpringAI入门及浅实践,实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用
java·大数据·人工智能·spring
拓端研究室2 小时前
专题:2025电商增长新势力洞察报告:区域裂变、平台垄断与银发平权|附260+报告PDF、原数据表汇总下载
大数据·人工智能
猫猫的小茶馆3 小时前
【STM32】FreeRTOS 任务的删除(三)
java·linux·stm32·单片机·嵌入式硬件·mcu·51单片机
阿里云大数据AI技术3 小时前
[VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测
大数据·人工智能·flink