ClickHouse的分片和副本

1. 副本

副本的目的主要是保障数据的高可用性,即使一台ClickHouse节点宕机,那么也可以从其他服务器获得相同的数据。

Data Replication | ClickHouse Docs

1. 1 副本写入流程

1. 2 配置步骤

(1)启动zookeeper集群

(2)在hadoop102的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件,内容如下:

注:也可以不创建外部文件,直接在config.xml中指定<zookeeper>

<?xml version="1.0"?>

<yandex>

<zookeeper-servers>

<node index="1">

<host>hadoop102</host>

<port>2181</port>

</node>

<node index="2">

<host>hadoop103</host>

<port>2181</port>

</node>

<node index="3">

<host>hadoop104</host>

<port>2181</port>

</node>

</zookeeper-servers>

</yandex>

(3)同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika.xml

(4)在 hadoop102的/etc/clickhouse-server/config.xml中增加

<zookeeper incl="zookeeper-servers" optional="true" />

<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

(5)同步到hadoop103和hadoop104上

sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml

分别在hadoop102和hadoop103上启动ClickHouse服务

注意:因为修改了配置文件,如果以前启动了服务需要重启

atguigu@hadoop102\|3 \~\]$ sudo clickhouse restart 注意:我们演示副本操作只需要在hadoop102和hadoop103两台服务器即可,上面的操作,我们hadoop104可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。 (6)在hadoop102和hadoop103上分别建表 副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表 ①hadoop102 create table t_order_rep2 ( id UInt32, sku_id String, total_amount Decimal(16,2), create_time Datetime ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_102') partition by toYYYYMMDD(create_time) primary key (id) order by (id,sku_id); ②hadoop103 create table t_order_rep2 ( id UInt32, sku_id String, total_amount Decimal(16,2), create_time Datetime ) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_103') partition by toYYYYMMDD(create_time) primary key (id) order by (id,sku_id); ③参数解释 ReplicatedMergeTree 中, **第一个参数** 是分片的zk_path一般按照: /clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写01即可。 **第二个参数** 是副本名称,相同的分片副本名称不能相同。 (7)在hadoop102上执行insert语句 insert into t_order_rep2 values (101,'sku_001',1000.00,'2020-06-01 12:00:00'), (102,'sku_002',2000.00,'2020-06-01 12:00:00'), (103,'sku_004',2500.00,'2020-06-01 12:00:00'), (104,'sku_002',2000.00,'2020-06-01 12:00:00'), (105,'sku_003',600.00,'2020-06-02 12:00:00'); ![](https://file.jishuzhan.net/article/1725637385284227073/80f4e5b8ef5d555fbcf316e932c792c1.webp) (8)在hadoop103上执行select,可以查询出结果,说明副本配置正确 ![](https://file.jishuzhan.net/article/1725637385284227073/60aa01357c9affcff4809bba1480eaa7.webp) ## **2.** **分片集群** 副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。 要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过Distributed表引擎把数据拼接起来一同使用。 Distributed表引擎本身不存储数据,有点类似于MyCat之于MySql,成为一种中间件,通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。 注意:ClickHouse的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分片,避免降低查询性能以及操作集群的复杂性。 ### **2.** **1** **集群写入流程(3分片2副本共6个节点)** ![](https://file.jishuzhan.net/article/1725637385284227073/cddfffd0e39bec5ecd54fcc9ee448230.webp) ### **2.** **2** **集群读取流程(3分片2副本共6个节点)** ![](https://file.jishuzhan.net/article/1725637385284227073/7e35e828f0037b972067e47820ca639a.webp) ### **2.** **3** **3分片2副本共6个节点集群配置(供参考)** 配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下 注:也可以不创建外部文件,直接在config.xml的\中指定 \ \ \ \

相关推荐
旺仔Sec7 小时前
2025年安徽省职业院校技能大赛(中职组)大数据应用与服务赛项样题
大数据
ctrigger8 小时前
中级统计师《统计基础理论及相关》考试大纲
大数据
SmartBrain9 小时前
洞察:阿里通义DeepResearch 技术
大数据·人工智能·语言模型·架构
jinxinyuuuus10 小时前
订阅指挥中心:数据可移植性、Schema设计与用户数据主权
数据仓库·人工智能
不光头强11 小时前
git知识点总结
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客11 小时前
Kibana:使用 ES|QL 构建地图,对国家或地区的指标进行对比
大数据·数据库·elasticsearch·搜索引擎·信息可视化·全文检索·kibana
fuzamei88811 小时前
AI+区块链:为数字金融构建可信交易底座—吴思进出席“中国数字金融独角兽榜单2025交流会”
大数据·人工智能
盟接之桥12 小时前
盟接之桥--说制造:从“找缝隙”到“一万米深”——庖丁解牛式的制造业精进之道
大数据·前端·数据库·人工智能·物联网·制造
司马阅-SmartRead12 小时前
学术研究与产业实践深度融合:司马阅AI合伙人冀文辉亮相「首届创新管理与JPIM论文工作坊」,产学研一体化推动企业AI落地
大数据·人工智能
kk哥889912 小时前
Git 远程仓库操作
大数据·git·elasticsearch