clickhouse一次异常排查记录

clickhouse中报错

关闭了自启动,删了status,重启了clickhouse还是报错

1,排查定时执行的脚本日志(每小时第5分钟执行)

INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime >= now() - INTERVAL 1 HOUR GROUP BY url

2,查看ck执行异常详细信息统计

java--查询某一节点命令执行数量(当天);信息包括错误最后发生时间,错误次数,异常编号,异常提示信息,请求IP,初始请求IP,查询类型等 复制代码
select max(query_start_time) as last_occur_time,count() as error_cnt,exception_code,any(exception) as exception,groupUniqArray(address) as addresses,groupUniqArray(initial_address) as initial_addresses,type,any(query) as query from system.query_log where type in (3,4) and toDate(query_start_time) = toDate(now()) group by toYYYYMMDD(query_start_time),type,exception_code order by error_cnt desc FORMAT Vertical;

在这里插入代码片

查看结果

报错中一个是超时,一个是查询数据量有点大14亿,但是表中每一小时都没有这么多

解决方法:一是增大超时

<max_execution_time>3600</max_execution_time>

二,在客户端执行sql:发现问题了,查询中没有带当天分区,所以14亿是全表扫描,有问题,于是添加上day和hour,问题解决

相关推荐
积跬步,慕至千里2 小时前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse
Edingbrugh.南空8 小时前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
Edingbrugh.南空8 小时前
ClickHouse 全生命周期性能优化
clickhouse·性能优化
Edingbrugh.南空2 天前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink
unhurried人生——冕临4 天前
Ubuntu安装ClickHouse
clickhouse
爱吃萝卜的猪15 天前
Clickhouse源码分析-Replicated Database创建流程
clickhouse
编程的大耳朵15 天前
ClickHouse 概述
clickhouse
Ethan301415 天前
Clickhouse官方文档学习笔记
笔记·学习·clickhouse
weixin_3077791316 天前
Python实现MySQL建表语句转换成Clickhouse SQL
数据库·python·sql·mysql·clickhouse
大千AI助手1 个月前
硬核实战 | 3分钟Docker部署ClickHouse列存数据库
大数据·clickhouse·docker·database