Clichouse数据导出导入(数据迁移)

  • 背景:因为clickhouse数据持续增加,导致服务器磁盘不够使用,云服务器的系统盘不能扩容,所以只能进行迁移
  1. 连接clickhouse查看要迁移那些数据库
bash 复制代码
root@jcdata:~/buckup/clickhouse# clickhouse-client -udefault  --password 123456
ClickHouse client version 23.6.2.18 (official build).
Connecting to 192.168.162.5:9000 as user default.
Connected to ClickHouse server version 23.6.2 revision 54464.
jcdata :) show databases
SHOW DATABASES
Query id: 9294909d-88d2-4928-a014-64d49bcd1a3d
┌─name───────────────┐
│ INFORMATION_SCHEMA │
│ default            │
│ information_schema │
│ system             │
│ traffic-axle-load  │
└────────────────────┘
6 rows in set. Elapsed: 0.001 sec.
jcdata :) show tables;
SHOW TABLES
Query id: bc6f3e59-49ad-4ff5-91df-7787d341c9b4
┌─name────────────────┐
│ axle_load_atlas     │
│ traffic_survey_data │
└─────────────────────┘
2 rows in set. Elapsed: 0.005 sec.
jcdata :)

traffic-axle-load数据库是我要迁移的

  1. 导出数据
bash 复制代码
#导出数据1
root@jcdata:~/buckup/clickhouse# clickhouse-client -u default --password=123456 --query "SELECT * FROM \`traffic-axle-load\`.axle_load_atlas" > axle_load_atlas.csv
#导出数据2
root@jcdata:~/buckup/clickhouse# clickhouse-client -u default --password=SHJC666 --query "SELECT * FROM \`traffic-axle-load\`.traffic_survey_data" > traffic_survey_data.csv
  1. 查看数据导出情况
bash 复制代码
root@jcdata:~/buckup/clickhouse# ll -h
total 16G
-rw-r--r-- 1 root root 5.5G Aug 13 17:58 axle_load_atlas.csv
-rw-r--r-- 1 root root  10G Aug 13 18:01 traffic_survey_data.csv
#导出完成
  1. 把数据scp到新的节点
bash 复制代码
scp -r * root@ip/root/clickhouse/
  1. 导入数据

我是导入到了同样的数据库不同的数据表、按照研发需求导入,提前创建对应的表、表结构要正确

bash 复制代码
#导入数据1
[root@sdgs-server01 clickhouse]# clickhouse-client -u admin --password=123456 --query="insert into \`traffic-axle-load\`.axle FORMAT TSV"< axle_load_atlas.csv

#新开一个窗口连接到CK
clickhouse :) select count(*) from axle;
SELECT count(*)
FROM axle
Query id: d41ca2fb-e5a5-4952-b034-deab1ca02413
┌─count()─┐
│       0 │
└─────────┘
1 row in set. Elapsed: 0.001 sec.
clickhouse :) select count(*) from axle;
SELECT count(*)
FROM axle
Query id: 86c311a0-6a81-48c8-9ce5-90db940c2214
┌──count()─┐
│ 16267692 │
└──────────┘
1 row in set. Elapsed: 0.002 sec.
#通过上面可以看到数据正在导入

#导入数据2
[root@sdgs-server01 clickhouse]# clickhouse-client -u admin --password=123456 --query="insert into \`traffic-axle-load\`.traffic FORMAT TSV"< traffic_survey_data.csv
clickhouse :) select count(*) from traffic;
SELECT count(*)
FROM traffic
Query id: 920e0422-0e66-490c-ba3a-a6665a7c255d
┌─count()─┐
│       0 │
└─────────┘
1 row in set. Elapsed: 0.001 sec.
clickhouse :) select count(*) from traffic;
SELECT count(*)
FROM traffic
Query id: da399f67-ed7e-4223-8886-115ce60ddf4c
┌─count()─┐
│ 2792470 │
└─────────┘
1 row in set. Elapsed: 0.001 sec.
#此表一样

因为我就两个表,所以只用了clickhouse-client命令完成数据导入和导出

相关推荐
睡觉的时候不会困4 小时前
Redis 主从复制详解:原理、配置与主从切换实战
数据库·redis·bootstrap
程序员的世界你不懂5 小时前
【Flask】测试平台开发,新增说明书编写和展示功能 第二十三篇
java·前端·数据库
自学也学好编程5 小时前
【数据库】Redis详解:内存数据库与缓存之王
数据库·redis
JAVA不会写6 小时前
在Mybatis plus中如何使用自定义Sql
数据库·sql
IT 小阿姨(数据库)6 小时前
PgSQL监控死元组和自动清理状态的SQL语句执行报错ERROR: division by zero原因分析和解决方法
linux·运维·数据库·sql·postgresql·centos
ChinaRainbowSea6 小时前
7. LangChain4j + 记忆缓存详细说明
java·数据库·redis·后端·缓存·langchain·ai编程
小马学嵌入式~7 小时前
嵌入式 SQLite 数据库开发笔记
linux·c语言·数据库·笔记·sql·学习·sqlite
Java小白程序员8 小时前
MyBatis基础到高级实践:全方位指南(中)
数据库·mybatis
Monly218 小时前
人大金仓:merge sql error, dbType null, druid-1.2.20
数据库·sql
不宕机的小马达8 小时前
【Mysql|第一篇】Mysql的安装与卸载、Navicat工具的使用
数据库·mysql