技术流 | ClickHouse工具ckman v3.1.3 & sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

点击后跳转:

  1. 修复:merge指标progress和merge耗时显示不正确的问题

  2. 优化:销毁集群时,同步删除zookeeper上task_queue节点

  3. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

  4. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

  5. 修复:增加quotas时报错

  6. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

  7. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

  8. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

  9. 修复:表指标页面展示分区时,排除掉inactive的part

  10. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

  1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

  2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

  3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

  4. 功能:支持IPv4/IPv6数据类型

  5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

  6. 优化:clickhouse-client默认启用lz4压缩

  7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

  8. 功能:支持http协议,支持华为MRS kerberos认证

  9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

  1. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

复制代码
https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

复制代码
https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

------------ The END ------------

相关推荐
Sais_Z1 天前
ClickHouse的学习与了解
数据库·clickhouse
风中凌乱4 天前
ClickHouse-Backup的安装与部署
clickhouse
风中凌乱4 天前
clickhouse集群的安装与部署
clickhouse
白眼黑刺猬4 天前
ClickHouse从入门到企业级实战全解析课程简介
clickhouse
chenglin0168 天前
ClickHouse、Doris、OpenSearch、Splunk、Solr系统化分析
clickhouse·solr·lucene
慕y2748 天前
Java学习第一百一十七部分——ClickHouse
java·学习·clickhouse
zuozewei13 天前
随笔之 ClickHouse 列式分析数据库安装注意事项及基准测试
数据库·clickhouse
牛牛木有坏心眼(大数据进阶)14 天前
linux系统离线环境安装clickhouse客户端
linux·clickhouse
许心月14 天前
Clickhouse#表记录转换为insert语句
clickhouse
许心月14 天前
Clickhouse#记录隐藏字段
clickhouse