clickhouse一次异常排查记录

clickhouse中报错

关闭了自启动,删了status,重启了clickhouse还是报错

1,排查定时执行的脚本日志(每小时第5分钟执行)

INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime >= now() - INTERVAL 1 HOUR GROUP BY url

2,查看ck执行异常详细信息统计

java--查询某一节点命令执行数量(当天);信息包括错误最后发生时间,错误次数,异常编号,异常提示信息,请求IP,初始请求IP,查询类型等 复制代码
select max(query_start_time) as last_occur_time,count() as error_cnt,exception_code,any(exception) as exception,groupUniqArray(address) as addresses,groupUniqArray(initial_address) as initial_addresses,type,any(query) as query from system.query_log where type in (3,4) and toDate(query_start_time) = toDate(now()) group by toYYYYMMDD(query_start_time),type,exception_code order by error_cnt desc FORMAT Vertical;

在这里插入代码片

查看结果

报错中一个是超时,一个是查询数据量有点大14亿,但是表中每一小时都没有这么多

解决方法:一是增大超时

<max_execution_time>3600</max_execution_time>

二,在客户端执行sql:发现问题了,查询中没有带当天分区,所以14亿是全表扫描,有问题,于是添加上day和hour,问题解决

相关推荐
草明18 小时前
clickhouse 检查是否有删除语句在执行
数据库·clickhouse
StarRocks_labs18 小时前
从 ClickHouse 到 StarRocks 存算分离: 携程 UBT 架构升级实践
starrocks·clickhouse·存算分离·ubt架构·湖仓查询
大数据004 天前
CLICKHOUSE分布式表初体验
分布式·clickhouse
言之。5 天前
ClickHouse 数据更新策略深度解析:突变操作与最佳实践
服务器·数据库·clickhouse
ll5776443328 天前
解析PyTorch张量操作从基础重塑到高级自动微分技术
clickhouse
言之。8 天前
ClickHouse MCP
clickhouse
weixin_307779138 天前
Clickhouse导出库的表、视图、用户和角色定义的SQL语句
开发语言·数据库·算法·clickhouse·自动化
SelectDB技术团队8 天前
Apache Doris 与 ClickHouse:运维与开源闭源对比
运维·clickhouse·apache
weixin_3077791313 天前
AWS云上ClickHouse数据仓库部署方案详解
开发语言·clickhouse·自动化·云计算·aws
板凳坐着晒太阳13 天前
ClickHouse 配置优化与问题解决
数据库·clickhouse