ClickHouse的分片和副本

1. 副本

副本的目的主要是保障数据的高可用性,即使一台ClickHouse节点宕机,那么也可以从其他服务器获得相同的数据。

Data Replication | ClickHouse Docs

1. 1 副本写入流程

1. 2 配置步骤

(1)启动zookeeper集群

(2)在hadoop102的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件,内容如下:

注:也可以不创建外部文件,直接在config.xml中指定<zookeeper>

<?xml version="1.0"?>

<yandex>

<zookeeper-servers>

<node index="1">

<host>hadoop102</host>

<port>2181</port>

</node>

<node index="2">

<host>hadoop103</host>

<port>2181</port>

</node>

<node index="3">

<host>hadoop104</host>

<port>2181</port>

</node>

</zookeeper-servers>

</yandex>

(3)同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika.xml

(4)在 hadoop102的/etc/clickhouse-server/config.xml中增加

<zookeeper incl="zookeeper-servers" optional="true" />

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

(5)同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

分别在hadoop102和hadoop103上启动ClickHouse服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

atguigu@hadoop102\|3 \~\]$ sudo clickhouse restart 注意:我们演示副本操作只需要在hadoop102和hadoop103两台服务器即可,上面的操作,我们hadoop104可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。 (6)在hadoop102和hadoop103上分别建表 副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表 ①hadoop102 create table t_order_rep2 ( id UInt32, sku_id String, total_amount Decimal(16,2), create_time Datetime ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_102') partition by toYYYYMMDD(create_time) primary key (id) order by (id,sku_id); ②hadoop103 create table t_order_rep2 ( id UInt32, sku_id String, total_amount Decimal(16,2), create_time Datetime ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_103') partition by toYYYYMMDD(create_time) primary key (id) order by (id,sku_id); ③参数解释 ReplicatedMergeTree 中, **第一个参数** 是分片的zk_path一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写01即可。 **第二个参数** 是副本名称,相同的分片副本名称不能相同。 (7)在hadoop102上执行insert语句 insert into t_order_rep2 values (101,'sku_001',1000.00,'2020-06-01 12:00:00'), (102,'sku_002',2000.00,'2020-06-01 12:00:00'), (103,'sku_004',2500.00,'2020-06-01 12:00:00'), (104,'sku_002',2000.00,'2020-06-01 12:00:00'), (105,'sku_003',600.00,'2020-06-02 12:00:00'); ![](https://file.jishuzhan.net/article/1725637385284227073/80f4e5b8ef5d555fbcf316e932c792c1.webp) (8)在hadoop103上执行select,可以查询出结果,说明副本配置正确 ![](https://file.jishuzhan.net/article/1725637385284227073/60aa01357c9affcff4809bba1480eaa7.webp) ## **2.** **分片集群** 副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。 要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过Distributed表引擎把数据拼接起来一同使用。 Distributed表引擎本身不存储数据,有点类似于MyCat之于MySql,成为一种中间件,通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。 注意:ClickHouse的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分片,避免降低查询性能以及操作集群的复杂性。 ### **2.** **1** **集群写入流程(3分片2副本共6个节点)** ![](https://file.jishuzhan.net/article/1725637385284227073/cddfffd0e39bec5ecd54fcc9ee448230.webp) ### **2.** **2** **集群读取流程(3分片2副本共6个节点)** ![](https://file.jishuzhan.net/article/1725637385284227073/7e35e828f0037b972067e47820ca639a.webp) ### **2.** **3** **3分片2副本共6个节点集群配置(供参考)** 配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下 注:也可以不创建外部文件,直接在config.xml的\中指定 \ \ \ \

相关推荐
电商数据girl2 分钟前
酒店旅游类数据采集API接口之携程数据获取地方美食品列表 获取地方美餐馆列表 景点评论
java·大数据·开发语言·python·json·旅游
OJAC近屿智能17 分钟前
ChatGPT再升级!
大数据·人工智能·百度·chatgpt·近屿智能
欧先生^_^27 分钟前
现在环保方面有什么新的技术动态
大数据
线条128 分钟前
MapReduce Shuffle 全解析:从 Map 端到 Reduce 端的核心数据流
大数据·hadoop·mapreduce
白宇横流学长35 分钟前
基于大数据的租房信息可视化系统的设计与实现【源码+文档+部署】
大数据·信息可视化
依年南台2 小时前
Spark缓存
大数据
zxfgdjfjfjflfllf2 小时前
Mapreduce初使用
大数据·wpf·mapreduce
Leo.yuan3 小时前
基于地图的数据可视化:解锁地理数据的真正价值
大数据·数据库·信息可视化·数据挖掘·数据分析
漂流瓶6666663 小时前
运行Spark程序-在shell中运行 --SparkConf 和 SparkContext
大数据·分布式·spark
数巨小码人3 小时前
Linux常见命令
大数据·linux·运维·服务器·elasticsearch·搜索引擎