技术流 | ClickHouse工具ckman v3.1.3 & sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

点击后跳转:

  1. 修复:merge指标progress和merge耗时显示不正确的问题

  2. 优化:销毁集群时,同步删除zookeeper上task_queue节点

  3. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

  4. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

  5. 修复:增加quotas时报错

  6. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

  7. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

  8. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

  9. 修复:表指标页面展示分区时,排除掉inactive的part

  10. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

  1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

  2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

  3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

  4. 功能:支持IPv4/IPv6数据类型

  5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

  6. 优化:clickhouse-client默认启用lz4压缩

  7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

  8. 功能:支持http协议,支持华为MRS kerberos认证

  9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

  1. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

复制代码
https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

复制代码
https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

------------ The END ------------

相关推荐
斯特凡今天也很帅7 小时前
clickhouse常用语句汇总——持续更新中
数据库·sql·clickhouse
SelectDB技术团队1 天前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
risc1234566 天前
【ClickHouse】RollingBitmap
clickhouse
斯特凡今天也很帅6 天前
clickhouse如何查看操作记录,从日志来查看写入是否成功
数据库·clickhouse
袖清暮雨11 天前
ClickHouse讲解
大数据·数据库·数据仓库·clickhouse·oracle
江枫渔火L13 天前
使用clickhouse的ReplacingMergeTree引擎表做活跃玩家信息表
数据库·clickhouse
潇凝子潇15 天前
Doris ClickHouse Greenplum 对比
clickhouse·doris·greenplum
递归尽头是星辰16 天前
ClickHouse核心优势分析与场景实战
大数据·数据仓库·clickhouse·实时分析·实时查询
鲁尼的小宝贝18 天前
基于Flink的数据中台管理平台
java·大数据·clickhouse·flink·yarn
问道飞鱼22 天前
【大数据知识】今天聊聊Clickhouse部署方案
大数据·clickhouse·部署