技术流 | ClickHouse工具ckman v3.1.3 & sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

点击后跳转:

  1. 修复:merge指标progress和merge耗时显示不正确的问题

  2. 优化:销毁集群时,同步删除zookeeper上task_queue节点

  3. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

  4. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

  5. 修复:增加quotas时报错

  6. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

  7. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

  8. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

  9. 修复:表指标页面展示分区时,排除掉inactive的part

  10. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

  1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

  2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

  3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

  4. 功能:支持IPv4/IPv6数据类型

  5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

  6. 优化:clickhouse-client默认启用lz4压缩

  7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

  8. 功能:支持http协议,支持华为MRS kerberos认证

  9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

  1. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

复制代码
https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

复制代码
https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

------------ The END ------------

相关推荐
Sayai10 小时前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
l1t5 天前
DeepSeek总结的clickhouse的二进制文件自解压机制
clickhouse
l1t5 天前
DeepSeek总结的pg_clickhouse 与 chdb 更新:编码、嵌套与类型
数据库·clickhouse·postgresql
拔剑纵狂歌8 天前
ClickHouse system.query_log 字段详解与排障实践
后端·clickhouse·1024程序员节
SelectDB技术团队8 天前
Apache Doris 高性能 Open Lake Variant 读写技术解析(含对比数据)
数据结构·数据库·clickhouse·日志·apache doris·selectdb·湖仓架构升级
SelectDB技术团队8 天前
ClickHouse 存日志的能力边界:并发、检索与 trace 回放的实测对照
数据结构·数据库·clickhouse·日志分析·apache doris·日志存储
SelectDB技术团队8 天前
Agent Trace 数据底座建设:宽表建模、全文检索与成本聚合的配置与验证步骤
大数据·python·clickhouse·elk·elasticsearch·全文检索·复杂查询
此时不提桶,更待何时9 天前
05-03-B-ClickHouse与OLAP面试与生产事故实战
clickhouse·面试·nosql
SelectDB技术团队9 天前
ELK 太占磁盘、ES 总报写入拒绝:从归因到可执行的优化清单
大数据·clickhouse·elk·elasticsearch·全文检索·复杂查询·实时更新
frjc10 天前
数据库选型:如何从众多数据库中选出最理想的那一个
redis·mysql·clickhouse·elasticsearch