技术流 | ClickHouse工具ckman v3.1.3 & sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

点击后跳转:

  1. 修复:merge指标progress和merge耗时显示不正确的问题

  2. 优化:销毁集群时,同步删除zookeeper上task_queue节点

  3. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

  4. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

  5. 修复:增加quotas时报错

  6. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

  7. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

  8. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

  9. 修复:表指标页面展示分区时,排除掉inactive的part

  10. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

  1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

  2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

  3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

  4. 功能:支持IPv4/IPv6数据类型

  5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

  6. 优化:clickhouse-client默认启用lz4压缩

  7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

  8. 功能:支持http协议,支持华为MRS kerberos认证

  9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

  1. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

------------ The END ------------

相关推荐
爱上口袋的天空1 天前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse
爱上口袋的天空4 天前
06 - Clickhouse的表引擎
数据库·clickhouse
吹老师个人app编程教学4 天前
ClickHouse的介绍、安装、数据类型
数据库·clickhouse·oracle
有被蠢哭到4 天前
Python连接Mysql、Postgre、ClickHouse、Redis常用库及封装方法
redis·python·mysql·clickhouse·postgresql
genghongsheng4 天前
执行flink sql连接clickhouse库
数据库·clickhouse·flink
爱上口袋的天空5 天前
04 - Clickhouse-21.7.3.14-2单机版安装
linux·服务器·clickhouse
LanFengXuXue5 天前
Clickhouse集群新建用户、授权以及remote权限问题
数据库·clickhouse
期待着201313 天前
ClickHouse创建分布式表
数据库·clickhouse
昨天今天明天好多天14 天前
【ClickHouse】创建表
数据库·clickhouse·oracle
从未完美过14 天前
clickhouse自增id的处理
数据库·clickhouse