记录clickhouse记录一次性能优化,从60s到1s

文章目录

问题

一个查询接口,涉及多个clickhouse 查询,查询用时一下变成要60s

表结构类似如下
bash 复制代码
CREATE TABLE  demo.test_local
(
    `id` UUID,
    `date` DateTime,
    `type` String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test_local', '{replica}')
PARTITION BY data_date
ORDER BY id
TTL data_date + toIntervalDay(10)
SETTINGS index_granularity = 8192
分析第一步

从资源竞争入手,因为这里面一个接口很多个查询

通过执行SHOW PROCESSLIST 命令,得到执行详情

这里我得到的数据

CPU 竞争 :OSCPUWaitMicroseconds 高达 2.5 亿微秒(~250秒),说明 CPU 调度延迟严重。

磁盘 I/O 瓶颈 :ThreadPoolReaderPageCacheMiss 高(如 5,737 次缓存未命中),AsynchronousReadWaitMicroseconds 超过 4.5 亿微秒(~453秒),表明磁盘读取成为瓶颈

可以得到的结论,cpu 等待时间长,磁盘读的数据量大

调整第一步

增量cpu资源,调到48c

执行时间变成30s

观察多磁盘读

从执行sql来看,都有时间条件作为下推来过滤数据,好像没生效

观察create table sql

发现 排序竟然是用的id,不是date,这里本来应该是用date的

bash 复制代码
CREATE TABLE  demo.test_local
(
    `id` UUID,
    `date` DateTime,
    `type` String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test_local', '{replica}')
PARTITION BY data_date
ORDER BY id
TTL data_date + toIntervalDay(10)
SETTINGS index_granularity = 8192

修改create table sql 接口时间变成5s左右

bash 复制代码
CREATE TABLE  demo.test_local
(
    `id` UUID,
    `date` DateTime,
    `type` String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test_local', '{replica}')
PARTITION BY data_date
ORDER BY date
TTL data_date + toIntervalDay(10)
SETTINGS index_granularity = 8192
继续观察sql

发现有很多基于type 的精确查询

bash 复制代码
CREATE TABLE  demo.test_local
(
    `id` UUID,
    `date` DateTime,
    `type` String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test_local', '{replica}')
PARTITION BY data_date
ORDER BY (date,type)
TTL data_date + toIntervalDay(10)
SETTINGS index_granularity = 8192

再次修改create table sql ,把type 加入排序建

对type增加跳数索引

ALTER TABLE demo.test_local

ADD INDEX type_set_index (type) TYPE set(100) GRANULARITY 8;

结果接口耗时1s

相关推荐
FRing0340 分钟前
vue2干货总结11(短信验证、登录功能、统一处理错误(响应拦截器)、将token信息存入vuex、vuex持久化处理)
开发语言·前端·javascript·vue.js·vue2
泯泷44 分钟前
改一个字,整段都红了?——中文内容差异对比的算法与协议设计
前端·javascript·typescript
再吃一根胡萝卜1 小时前
DSH plugin 开发示例:五种插件形态完整代码整理
前端
Yk酱228401 小时前
A2UI随笔-demo-01
前端
云起SAAS1 小时前
本地生活同城多商户商城系统源码源码 合伙人分红加区域代理加排队返现
前端·javascript·后端
奶油话梅糖1 小时前
3 天 1,705 Star:DeepSeek 开源官方聊天前端——零后端纯静态,浏览器直连 API
前端·开源
Linye2 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
接着奏乐接着舞_2 小时前
Electron 白屏问题排查及解决记录
前端
htzyl2062 小时前
前端监控最容易写错的 18 个地方:从平均值到 beforeunload
前端·浏览器
鹿鹿鹿鹿isNotDefined2 小时前
布局更新后,canvas 重新绘制,出现了只持续一帧的闪烁?!
前端·javascript·vue.js