clickhouse从mysql同步数据到clickhouse的几种方式

背景

我们的业务数据一般来说都是放在Mysql中的,而我们要分析的数据一般都存放在clickhouse中,所以如何把数据从mysql同步到ck,就变成了一个必须的步骤,本文简单记录下几种同步的方式

mysql数据同步到clickhouse

方式一:

在clickhouse中独立创建一个ck的表,对应着mysql的一张表数据,然后使用定时任务比如每天或者每小时从mysql中查询一天的增量或者一小时的增量数据插入到ck中,这种方式比较容易理解和实现

方式二:

使用canel+kafka同步二进制binlog的方式同步数据,具体来说是把每条db的变更转换成kafka的记录,然后消费kafka消息把数据插入到ck中

方式三:

使用ck提供的mysql引擎表

java 复制代码
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
    ...
) ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause'])
SETTINGS
    [ connection_pool_size=16, ]
    [ connection_max_tries=3, ]
    [ connection_wait_timeout=5, ]
    [ connection_auto_close=true, ]
    [ connect_timeout=10, ]
    [ read_write_timeout=300 ]
;

方式四:

使用ck提供的当前还处于实验阶段的MaterializedMySQL引擎

java 复制代码
CREATE DATABASE mysql ENGINE = MaterializedMySQL('localhost:3306', 'db', 'user', '***');

方式五:

通过把mysql表导出成Tsv文件,然后通过clickhouse-client工具把TSV文件的数据导入到ck的表中.

参考文献:

https://clickhouse.com/docs/zh/engines/database-engines/materialized-mysql

相关推荐
怪兽20141 天前
Redis常见性能问题和解决方案
java·数据库·redis·面试
hello_zzw1 天前
docker部署MySQL主从服务集群
mysql·adb·docker
计算机学长felix1 天前
基于SpringBoot的“中学信息技术课程教学网站”的设计与实现(源码+数据库+文档+PPT)_2025-10-17
数据库·spring boot·后端
长安城没有风1 天前
从入门到精通【Redis】Redis 典型应⽤ --- 缓存 (cache)
数据库·redis·后端·缓存
学无止境w1 天前
Redis在电商中的深度应用:商品缓存、秒杀锁、排行榜的实现与避坑指南
数据库·redis·缓存
象象翔1 天前
Redis实战篇---添加缓存(店铺类型添加缓存需求)
数据库·redis·缓存
放弃幻想_1 天前
S4和ECC或者不通CLIENT,不通HANA服务器互相取数
服务器·数据库·sap·abap·abap sap
gx23481 天前
MySQL-2--数据库的查询
数据库
zone_z1 天前
Oracle 表空间检查与监控配置详解
数据库·oracle
冉冰学姐1 天前
SSM装修服务网站5ff59(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库·ssm 框架·装修服务网站