【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】
在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!
ckman v3.1.3新版本特性
ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)
v3.1.3主要更新内容如下:
- 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)
点击后跳转:
-
修复:merge指标progress和merge耗时显示不正确的问题
-
优化:销毁集群时,同步删除zookeeper上task_queue节点
-
修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题
-
优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错
-
修复:增加quotas时报错
-
修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题
-
优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令
-
优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错
-
修复:表指标页面展示分区时,排除掉inactive的part
-
修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作
clickhouse_sinker v3.1.8 新版本特性
-
优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)
-
优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)
-
优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1
-
功能:支持IPv4/IPv6数据类型
-
功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸
-
优化:clickhouse-client默认启用lz4压缩
-
功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题
-
功能:支持http协议,支持华为MRS kerberos认证
-
优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是
默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大
- 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题
如何体验新版本
你可以从GitHub上最新的release页面下载对应的rpm安装包:
ckman:
https://github.com/housepower/ckman/releases/tag/v3.1.3
clickhouse_sinker:
https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8
------------ The END ------------