记一次clickhouse手动更改分片数异常

背景:clickhouse中之前是1分片1副本,随着数据量增多,想将分片数增多,于是驻场人员手动添加了分片数的节点信息

c 复制代码
<clickhouse>
    <!-- 集群配置 -->
    <clickhouse_remote_servers>
        <feihuang_ck_cluster>
         <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>feihuang3</host>
                <port>9000</port>
                <user>default</user>
                <password>xxxxxxxx</password>
            </replica>
            <replica>
                <host>feihuang5</host>
                <port>9000</port>
                <user>default</user>
                <password>xxxxxxxx</password>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>feihuang12</host>
                <port>9000</port>
                <user>default</user>
                <password>xxxxxxxx</password>
            </replica>
            <replica>
                <host>feihuang13</host>
                <port>9000</port>
                <user>default</user>
                <password>xxxxxxxx</password>
            </replica>
        </shard>
       </feihuang_ck_cluster>
    </clickhouse_remote_servers>

    <!-- 本节点服务器的副本名称 -->
    <macros>
        <cluster>feihuang_ck_cluster</cluster>
        <shard>2</shard>
        <replica>feihuang13</replica>
    </macros>

    <!-- ZK配置信息 -->
    <zookeeper-servers>
        <node index="1">
            <host>feihuang6</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>feihuang7</host>
            <port>2181</port>
        </node>
         <node index="3">
            <host>feihuang8</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <!-- 数据压缩算法 -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>zstd</method>
        </case>
    </clickhouse_compression>
</clickhouse>
```xml
 
但是发现每次写入一条数据,结果表中却又两条一样的数据。

解决思路:排查配置文件,查看所有节点中的
<macros>
        <cluster>feihuang_ck_cluster</cluster>
        <shard>2</shard>
        <replica>feihuang13</replica>
    </macros>
    中的 <shard>2</shard>是不是都为2,结果发现全部都是2,这样对ck来说,配置了两个分片的节点信息,但是这都属于一个分片,导致数据写入两份,最后,将接地那shard分成两组,2个节点改为1,另外两个节点改为2,重启好了
相关推荐
期待着20135 天前
ClickHouse创建分布式表
数据库·clickhouse
昨天今天明天好多天5 天前
【ClickHouse】创建表
数据库·clickhouse·oracle
从未完美过6 天前
clickhouse自增id的处理
数据库·clickhouse
sunny052966 天前
ClickHouse数据库SSL配置和SSL连接测试
数据库·clickhouse·ssl
东皋长歌6 天前
ClickHouse创建账号和连接测试
clickhouse
gengjianchun9 天前
clickhouse 安装配置
服务器·网络·clickhouse
东皋长歌9 天前
ClickHouse安装
clickhouse
大嘴吧Lucy9 天前
实战攻略 | ClickHouse优化之FINAL查询加速
数据库·mysql·clickhouse
东皋长歌9 天前
SpringBoot+ClickHouse集成
clickhouse·springboot
从未完美过9 天前
ClickHouse集成Mysql表引擎跨服务器读表说明
服务器·mysql·clickhouse