clickhouse一次异常排查记录

clickhouse中报错

关闭了自启动,删了status,重启了clickhouse还是报错

1,排查定时执行的脚本日志(每小时第5分钟执行)

INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime >= now() - INTERVAL 1 HOUR GROUP BY url

2,查看ck执行异常详细信息统计

java--查询某一节点命令执行数量(当天);信息包括错误最后发生时间,错误次数,异常编号,异常提示信息,请求IP,初始请求IP,查询类型等 复制代码
select max(query_start_time) as last_occur_time,count() as error_cnt,exception_code,any(exception) as exception,groupUniqArray(address) as addresses,groupUniqArray(initial_address) as initial_addresses,type,any(query) as query from system.query_log where type in (3,4) and toDate(query_start_time) = toDate(now()) group by toYYYYMMDD(query_start_time),type,exception_code order by error_cnt desc FORMAT Vertical;

在这里插入代码片

查看结果

报错中一个是超时,一个是查询数据量有点大14亿,但是表中每一小时都没有这么多

解决方法:一是增大超时

<max_execution_time>3600</max_execution_time>

二,在客户端执行sql:发现问题了,查询中没有带当天分区,所以14亿是全表扫描,有问题,于是添加上day和hour,问题解决

相关推荐
爱吃萝卜的猪2 天前
Clickhouse源码分析-副本数据同步
clickhouse·源码解析·副本同步
努力做一名技术2 天前
从 Elastic 到 ClickHouse:日志系统性能与成本优化之路
clickhouse
白眼黑刺猬2 天前
ClickHouse 高性能实时分析数据库-物化视图篇
clickhouse
Fireworkitte2 天前
ClickHouse 常用的使用场景
clickhouse
小牛头#18 天前
clickhouse 各个引擎适用的场景
大数据·clickhouse·机器学习
全干engineer18 天前
ClickHouse 入门详解:它到底是什么、优缺点、和主流数据库对比、适合哪些场景?
数据库·clickhouse
爱吃萝卜的猪18 天前
Clickhouse诊断工具之chdig
clickhouse
源图客18 天前
ClickHouse介绍与应用
clickhouse
码农周18 天前
ClickHouse 时间范围查询:精准筛选「本月数据」
clickhouse
积跬步,慕至千里20 天前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse