clickhouse一次异常排查记录

clickhouse中报错

关闭了自启动,删了status,重启了clickhouse还是报错

1,排查定时执行的脚本日志(每小时第5分钟执行)

INSERT INTO quality0529.previously_reported_urls (url) SELECT url FROM quality0529.hourly_data_view WHERE findUrlListLastTime >= now() - INTERVAL 1 HOUR GROUP BY url

2,查看ck执行异常详细信息统计

java--查询某一节点命令执行数量(当天);信息包括错误最后发生时间,错误次数,异常编号,异常提示信息,请求IP,初始请求IP,查询类型等 复制代码
select max(query_start_time) as last_occur_time,count() as error_cnt,exception_code,any(exception) as exception,groupUniqArray(address) as addresses,groupUniqArray(initial_address) as initial_addresses,type,any(query) as query from system.query_log where type in (3,4) and toDate(query_start_time) = toDate(now()) group by toYYYYMMDD(query_start_time),type,exception_code order by error_cnt desc FORMAT Vertical;

在这里插入代码片

查看结果

报错中一个是超时,一个是查询数据量有点大14亿,但是表中每一小时都没有这么多

解决方法:一是增大超时

<max_execution_time>3600</max_execution_time>

二,在客户端执行sql:发现问题了,查询中没有带当天分区,所以14亿是全表扫描,有问题,于是添加上day和hour,问题解决

相关推荐
问道飞鱼4 天前
【大数据技术】ClickHouse配置详细解读
大数据·clickhouse·配置信息
StarRocks_labs6 天前
StarRocks 助力印度领先即时零售平台 Zepto 构建实时洞察能力
大数据·starrocks·clickhouse·存算一体·postgres mvp
奋进的白羊7 天前
clickhouse使用问题记录
数据库·clickhouse
JeffreyGu.7 天前
clickhouse-backup备份
数据库·clickhouse
hkNaruto8 天前
【大数据】clickhouse快速上手
大数据·clickhouse
言之。19 天前
简单介绍一下Clickhouse及其引擎
clickhouse
西京刀客19 天前
clickhouse的UInt64类型(countIf() 函数返回)
clickhouse·uint64·countif
Super_King_20 天前
ClickHouse 中 ORDER BY 场景下 arrayExists 与 hasAny 性能深入研究:布隆过滤器索引的影响分析
clickhouse
Super_King_20 天前
深入研究:ClickHouse中arrayExists与hasAny在ORDER BY场景下的性能差异
clickhouse