ClickHouse基础知识(六):ClickHouse的副本配置

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以 从其他服务器获得相同的数据。

1. 副本写入流程

2. 配置步骤

➢ 启动 zookeeper 集群

➢ 在hadoop101的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml 的配置文件,内容如下:

复制代码
[root@hadoop101 config.d]$ vim metrika.xml

<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="1">
            <host>hadoop100</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>hadoop101</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>hadoop102</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

➢ 同步到 hadoop100 和 hadoop102 上

复制代码
[root@hadoop101 config.d]# xsync.sh metrika.xml

➢ 在 hadoop101 的/etc/clickhouse-server/config.xml 中增加

复制代码
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

➢ 同步到 hadoop100 和 hadoop102上

复制代码
[root@hadoop101 config.d]# xsync.sh /etc/clickhouse-server/config.xml  

➢ 分别在 hadoop100 和 hadoop102 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

复制代码
 sudo systemctl restart clickhouse-server

注意:我们演示副本操作只需要在 hadoop100 和 hadoop101 两台服务器即可,上面 的操作,我们 hadoop102 可以你不用同步,我们这里为了保证集群中资源的一致性,做了 同步。

➢ 在 hadoop100 和 hadoop101 上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

◼ hadoop100

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_100')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ hadoop101

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_101')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ 参数解释

ReplicatedMergeTree 中,

第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写 01 即可。

第二个参数是副本名称,相同的分片副本名称不能相同。

➢ 在 hadoop100 上执行 insert 语句

复制代码
insert into t_order_rep2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');

➢ 在 hadoop101 上执行 select,可以查询出结果,说明副本配置正确

相关推荐
阿坤带你走近大数据8 天前
ClickHouse的介绍
clickhouse
南修子10 天前
【Flink 30天】Day24-27 实时数仓规范:ODS→DWD→DWS→ADS 分层 + Temporal Join + 生产最佳实践
clickhouse·flink·实时数仓·数据分层·temporaljoin
l1t24 天前
DeepSeek总结的用Parquet从 ClickHouse 迁移至 CedarDB查询
clickhouse·cedardb
longxibo1 个月前
【Ubuntu datasophon1.2.1 二开之六:解决CLICKHOUSE安装问题】
大数据·linux·clickhouse·ubuntu
l1t1 个月前
在python 3.14 容器中安装和使用chdb包
开发语言·python·clickhouse·chdb
linweidong1 个月前
别让老板等:千人并发下的实时大屏极致性能优化实录
jmeter·clickhouse·性能优化·sentinel·doris·物化视图·离线数仓
Paraverse_徐志斌1 个月前
基于 Kafka + Flink + ClickHouse 电商用户行为实时数仓实践
大数据·clickhouse·flink·kafka·olap·etl
李兆龙的博客1 个月前
从一到无穷大 #62 ClickHouse 加速机制持久化格式拆解
clickhouse
麦兜和小可的舅舅2 个月前
ClickHouse 一次Schema修改造成的Merge阻塞问题的分析和解决过程
clickhouse