Clickhouse使用总结

使用记录。

前段时间参与的项目主要采集大量的日志数据,进行各种的存储和分析,并产出可展示的数据,提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql,但当多种类型日志量急剧上升到千万级别之后,管理查询处理数据就会很慢,已无法满足需求。故查找解决方案,发现神器Clickhouse。

经测试,Clickhouse并发支持率不高,实际在数据库并发连接20-30左右会出现崩溃现象,几分钟后自动重启,所以最好是少量的连接,只进行数据的插入和分析等操作。插入的效率很高,但及其占用cpu资源,服务器性能要求较高。

单机数据量支持亿级别,目前项目中的日志,部分已超亿级甚至10亿级,同时关联其他如组织表用户表等进行多表关联及分组、排序等查询,仍可在几秒内进行处理完成,更复杂的sql能在20秒内执行完成,满足数据汇总需求。

单机能满足大部分的需求,生产环境最好还是集群部署。

1,cilckhouse简介

参考:ClickHouse介绍

2,clickhouse离线安装部署

参考:Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

3,clickhouse安装包下载地址

Index of /clickhouse/rpm/stable/x86_64/

4,备份 clickhouse-backup

clickhouse-backup - 简书

相关推荐
狼与自由11 小时前
安装使用clickhouse
clickhouse
麦兜和小可的舅舅1 天前
ClickHouse 列管理机制解析:从 COW、IColumn 到 CRTP
c++·clickhouse
4t4run10 天前
1、clickhouse 安装
数据库·clickhouse
JackSparrow41411 天前
使用Elasticsearch代替数据库like以加快查询的各种技术方案+实现细节
大数据·clickhouse·elk·elasticsearch·搜索引擎·postgresql·全文检索
梦想与想象-广州大智汇18 天前
MySQL 同步数据到 ClickHouse 方案对比分析
数据库·mysql·clickhouse
Smile_25422041818 天前
clickhouse日志疯涨问题
linux·运维·服务器·clickhouse
计算机魔术师19 天前
【技术硬核 | 存储】ClickHouse 原理与 Langfuse 存储实践:当 LLM Trace 爆炸时,PG 还扛得住吗?
人工智能·clickhouse·工程实践·sbti·职场焦虑
fire-flyer22 天前
ClickHouse系列(九):慢查询、内存 OOM 与稳定性治理
android·clickhouse
fire-flyer22 天前
ClickHouse系列(十):生产架构与最佳实践总结
clickhouse·架构
fire-flyer22 天前
ClickHouse系列(八):ClickHouse 的 UPDATE / DELETE 正确姿势
大数据·数据库·clickhouse