Clickhouse基于breakpad生成minidump文件,方便问题定位

背景

breakpad能够在程序崩溃的时候自动生成一个mini的core文件,能够帮助进行问题定位,但是clickhouse对于集成breappad的难度较大

查看github发现之前有大佬基于以前的分支有个MR,但是一直没有合并到社区,想来是有什么其他的原因,同时由于现在master的代码有些许差异,所以还需要进行部分改造

前提准备

社区大佬的MR:

https://github.com/ClickHouse/ClickHouse/pull/53916/files

clickhouse:最新提交如下图所示

https://github.com/ClickHouse/ClickHouse.git

编译环境

clang19

楼主编译时,主干已经更新到clang19,所以需要升级

bash 复制代码
# 安装依赖
apt update
apt install -y wget gnupg software-properties-common lsb-release
# 添加 LLVM 官方仓库(自动检测系统版本)
wget -qO- https://apt.llvm.org/llvm.sh | sudo bash -s 19
apt update
apt install -y clang-19 lldb-19 lld-19 clangd-19
# 修改默认配置
update-alternatives --install /usr/bin/clang clang /usr/bin/clang-19 100
update-alternatives --install /usr/bin/clang++ clang++ /usr/bin/clang++-19 100

wsl

楼主基于wsl进行编译,其他操作系统类似

修改代码

修改文件清单如下图所示,详见附件

其他版本也可以对照进行修改,修改点参考社区MR https://github.com/ClickHouse/ClickHouse/pull/53916/files

核心代码

下述代码会在进程崩溃时优先生成minidump,成功之后还会生成core文件,即便没有开启ulimit -c

生成的文件默认在ck的日志目录下

编译

在前面将代码修改适配完成之后,即可进行编译,此处编译按照官方的指导逐步操作即可

bash 复制代码
mkdir build
cd build
export CC=clang-19
export CXX=clang++-19
cmake -D CMAKE_BUILD_TYPE=Debug ..
ninja -j 8

启动clickhouse

此处启动可以参考 CSDN

bash 复制代码
./clickhouse server config.xml

构造异常

可以修改代码,构造一个段错误,也可以直接向进程发送一个信号量的方式进行异常构造,验证core文件的生成,为了方便,此处采用直接发送信号量的方式

bash 复制代码
 kill -SIGSEGV PID

此时在进程崩溃之后便会自动生成minidump和core文件了

查看minidump文件

生成的minidump和core文件均在日志目录下

minidump转core

因为有的时候core文件很大,可能因为磁盘空间不足,无法生成,那么此时就需要用breakpad的转换工具了,此处可以参考其他文章

将转换之后的core文件用gdb加载,即可查看程序崩溃时的堆栈信息了,帮助进行问题定位。

相关推荐
songroom3 天前
dbpystream webapi: 一次clickhouse数据从系统盘迁至数据盘的尝试
后端·clickhouse·阿里云
weixin_307779134 天前
Linux 下 Docker 与 ClickHouse 的安装配置及 MySQL 数据同步指南
linux·数据库·mysql·clickhouse·运维开发
bigdata-rookie5 天前
ClickHouse 介绍
clickhouse
MARSERERER8 天前
ClickHouse迁移Starrocks脚本工具
starrocks·clickhouse
赤月幼狼8 天前
clickhouse学习笔记(一)基础概念与架构
笔记·学习·clickhouse
草明9 天前
clickhouse 检查是否有删除语句在执行
数据库·clickhouse
StarRocks_labs9 天前
从 ClickHouse 到 StarRocks 存算分离: 携程 UBT 架构升级实践
starrocks·clickhouse·存算分离·ubt架构·湖仓查询
大数据0013 天前
CLICKHOUSE分布式表初体验
分布式·clickhouse
言之。13 天前
ClickHouse 数据更新策略深度解析:突变操作与最佳实践
服务器·数据库·clickhouse
ll57764433216 天前
解析PyTorch张量操作从基础重塑到高级自动微分技术
clickhouse