clickhouse一次异常排查记录

clickhouse中报错

关闭了自启动,删了status,重启了clickhouse还是报错

1,排查定时执行的脚本日志(每小时第5分钟执行)

INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime >= now() - INTERVAL 1 HOUR GROUP BY url

2,查看ck执行异常详细信息统计

java--查询某一节点命令执行数量(当天);信息包括错误最后发生时间,错误次数,异常编号,异常提示信息,请求IP,初始请求IP,查询类型等 复制代码
select max(query_start_time) as last_occur_time,count() as error_cnt,exception_code,any(exception) as exception,groupUniqArray(address) as addresses,groupUniqArray(initial_address) as initial_addresses,type,any(query) as query from system.query_log where type in (3,4) and toDate(query_start_time) = toDate(now()) group by toYYYYMMDD(query_start_time),type,exception_code order by error_cnt desc FORMAT Vertical;

在这里插入代码片

查看结果

报错中一个是超时,一个是查询数据量有点大14亿,但是表中每一小时都没有这么多

解决方法:一是增大超时

<max_execution_time>3600</max_execution_time>

二,在客户端执行sql:发现问题了,查询中没有带当天分区,所以14亿是全表扫描,有问题,于是添加上day和hour,问题解决

相关推荐
叶域19 天前
ClickHouse总体学习
学习·clickhouse
时空无限19 天前
clickhouse清除system 表数据释放磁盘空间
数据库·clickhouse
angryshan19 天前
ClickHouse合并任务与查询延迟专项测试
数据库·clickhouse·php
fusugongzi20 天前
spring boot连接clickhouse集群,实现故障节点自动切换
java·spring boot·clickhouse
AAEllisonPang21 天前
ClickHouse优化技巧实战指南:从原理到案例解析
clickhouse
Faith_xzc24 天前
Doris vs ClickHouse 企业级实时分析引擎怎么选?
大数据·数据库·clickhouse·数据库开发
hjehheje24 天前
hbase的主要功能
clickhouse
hjehheje25 天前
hbase实训 阿达
clickhouse
hjehheje25 天前
clickhouse删除一条数据
数据库·clickhouse·oracle
hjehheje1 个月前
hbase超详细介绍
clickhouse