ClickHouse基础知识(六):ClickHouse的副本配置

副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以 从其他服务器获得相同的数据。

1. 副本写入流程

2. 配置步骤

➢ 启动 zookeeper 集群

➢ 在hadoop101的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml 的配置文件,内容如下:

复制代码
[root@hadoop101 config.d]$ vim metrika.xml

<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="1">
            <host>hadoop100</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>hadoop101</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>hadoop102</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

➢ 同步到 hadoop100 和 hadoop102 上

复制代码
[root@hadoop101 config.d]# xsync.sh metrika.xml

➢ 在 hadoop101 的/etc/clickhouse-server/config.xml 中增加

复制代码
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

➢ 同步到 hadoop100 和 hadoop102上

复制代码
[root@hadoop101 config.d]# xsync.sh /etc/clickhouse-server/config.xml  

➢ 分别在 hadoop100 和 hadoop102 上启动 ClickHouse 服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

复制代码
 sudo systemctl restart clickhouse-server

注意:我们演示副本操作只需要在 hadoop100 和 hadoop101 两台服务器即可,上面 的操作,我们 hadoop102 可以你不用同步,我们这里为了保证集群中资源的一致性,做了 同步。

➢ 在 hadoop100 和 hadoop101 上分别建表

副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表

◼ hadoop100

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_100')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ hadoop101

复制代码
create table t_order_rep2 (
id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse0325/table/01/t_order_rep','rep_101')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

◼ 参数解释

ReplicatedMergeTree 中,

第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写 01 即可。

第二个参数是副本名称,相同的分片副本名称不能相同。

➢ 在 hadoop100 上执行 insert 语句

复制代码
insert into t_order_rep2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');

➢ 在 hadoop101 上执行 select,可以查询出结果,说明副本配置正确

相关推荐
更深兼春远6 小时前
flink+clinkhouse安装部署
大数据·clickhouse·flink
Sais_Z4 天前
ClickHouse的学习与了解
数据库·clickhouse
风中凌乱7 天前
ClickHouse-Backup的安装与部署
clickhouse
风中凌乱7 天前
clickhouse集群的安装与部署
clickhouse
白眼黑刺猬7 天前
ClickHouse从入门到企业级实战全解析课程简介
clickhouse
chenglin01610 天前
ClickHouse、Doris、OpenSearch、Splunk、Solr系统化分析
clickhouse·solr·lucene
慕y27410 天前
Java学习第一百一十七部分——ClickHouse
java·学习·clickhouse
zuozewei16 天前
随笔之 ClickHouse 列式分析数据库安装注意事项及基准测试
数据库·clickhouse
牛牛木有坏心眼(大数据进阶)17 天前
linux系统离线环境安装clickhouse客户端
linux·clickhouse
许心月17 天前
Clickhouse#表记录转换为insert语句
clickhouse