ClickHouse副本搭建

苍老流年2025-01-01 17:58

一. 副本概述

副本的目的主要是保障数据的高可用性，ClickHouse中的副本没有主从之分。所有的副本都是平等的。

副本写入流程：

二. 副本搭建

1. 实验环境

bash 复制代码

hadoop1(192.168.47.128)
hadoop2(192.168.47.129)

2. 修改配置文件

修改两台主机/etc/clickhouse-server/config.xml配置文件，指定副本使用的zookeeper

bash 复制代码

<zookeeper>
   <node>
       <host>hadoop1</host>
       <port>2181</port>
   </node>
</zookeeper>

3. 启动服务

启动hadoop1上的zookeeper服务

bash 复制代码

[root@hadoop1 zookeeper-3.9.2]# ./bin/zkServer.sh  start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.9.2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

启动hadoop1和hadoop2的ClickHouse服务

bash 复制代码

[root@hadoop1 ~]# systemctl  start clickhouse-server

bash 复制代码

[root@hadoop2 ~]# systemctl  start clickhouse-server

三. 数据同步验证

在hadoop1和hadoop2建表

bash 复制代码

# hadoop1
hadoop1 :) create table t_test (
id UInt32,
name String,
age UInt32
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_test','rep_1')
primary key (id)
order by (id,name);

# hadoop2
hadoop2 :) create table t_test (
id UInt32,
name String,
age UInt32
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_test','rep_2')
primary key (id)
order by (id,name);

副本表的引擎为ReplicatedMergeTree，两张表在zookeeper的节点路径是一样的

在hadoop1执行insert语句

bash 复制代码

hadoop1 :) insert into t_test values(1, 'name1', 20), (2, 'name2', 30), (3, 'name3', 15);

INSERT INTO t_test FORMAT Values
Query id: 6c7fb969-fbe4-4199-af27-1dbbe3c8be14
Ok.

3 rows in set. Elapsed: 0.031 sec.

查看hadoop2数据表中的数据

bash 复制代码

hadoop2 :) select * from t_test;

SELECT *
FROM t_test

Query id: fef23f16-f122-45e6-bfa2-94e784a9e042
   ┌─id─┬─name──┬─age─┐
1. │  1 │ name1 │  20 │
2. │  2 │ name2 │  30 │
3. │  3 │ name3 │  15 │
   └────┴───────┴─────┘
3 rows in set. Elapsed: 0.005 sec.

由此可以看出，hadoop1插入的数据已经完全同步到hadoop2上了。