ClickHouse基础知识(六):ClickHouse的副本配置

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以 从其他服务器获得相同的数据。

1. 副本写入流程

2. 配置步骤

➢ 启动 zookeeper 集群

➢ 在hadoop101的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml 的配置文件,内容如下:

复制代码
[root@hadoop101 config.d]$ vim metrika.xml

<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="1">
            <host>hadoop100</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>hadoop101</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>hadoop102</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

➢ 同步到 hadoop100 和 hadoop102 上

复制代码
[root@hadoop101 config.d]# xsync.sh metrika.xml

➢ 在 hadoop101 的/etc/clickhouse-server/config.xml 中增加

复制代码
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

➢ 同步到 hadoop100 和 hadoop102上

复制代码
[root@hadoop101 config.d]# xsync.sh /etc/clickhouse-server/config.xml  

➢ 分别在 hadoop100 和 hadoop102 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

复制代码
 sudo systemctl restart clickhouse-server

注意:我们演示副本操作只需要在 hadoop100 和 hadoop101 两台服务器即可,上面 的操作,我们 hadoop102 可以你不用同步,我们这里为了保证集群中资源的一致性,做了 同步。

➢ 在 hadoop100 和 hadoop101 上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

◼ hadoop100

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_100')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ hadoop101

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_101')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ 参数解释

ReplicatedMergeTree 中,

第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写 01 即可。

第二个参数是副本名称,相同的分片副本名称不能相同。

➢ 在 hadoop100 上执行 insert 语句

复制代码
insert into t_order_rep2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');

➢ 在 hadoop101 上执行 select,可以查询出结果,说明副本配置正确

相关推荐
SelectDB技术团队14 小时前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
risc1234565 天前
【ClickHouse】RollingBitmap
clickhouse
斯特凡今天也很帅5 天前
clickhouse如何查看操作记录,从日志来查看写入是否成功
数据库·clickhouse
袖清暮雨10 天前
ClickHouse讲解
大数据·数据库·数据仓库·clickhouse·oracle
江枫渔火L12 天前
使用clickhouse的ReplacingMergeTree引擎表做活跃玩家信息表
数据库·clickhouse
潇凝子潇14 天前
Doris ClickHouse Greenplum 对比
clickhouse·doris·greenplum
递归尽头是星辰15 天前
ClickHouse核心优势分析与场景实战
大数据·数据仓库·clickhouse·实时分析·实时查询
鲁尼的小宝贝17 天前
基于Flink的数据中台管理平台
java·大数据·clickhouse·flink·yarn
问道飞鱼21 天前
【大数据知识】今天聊聊Clickhouse部署方案
大数据·clickhouse·部署
Fireworkitte23 天前
ClickHouse详解
clickhouse