Clickhouse使用总结

使用记录。

前段时间参与的项目主要采集大量的日志数据,进行各种的存储和分析,并产出可展示的数据,提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql,但当多种类型日志量急剧上升到千万级别之后,管理查询处理数据就会很慢,已无法满足需求。故查找解决方案,发现神器Clickhouse。

经测试,Clickhouse并发支持率不高,实际在数据库并发连接20-30左右会出现崩溃现象,几分钟后自动重启,所以最好是少量的连接,只进行数据的插入和分析等操作。插入的效率很高,但及其占用cpu资源,服务器性能要求较高。

单机数据量支持亿级别,目前项目中的日志,部分已超亿级甚至10亿级,同时关联其他如组织表用户表等进行多表关联及分组、排序等查询,仍可在几秒内进行处理完成,更复杂的sql能在20秒内执行完成,满足数据汇总需求。

单机能满足大部分的需求,生产环境最好还是集群部署。

1,cilckhouse简介

参考:ClickHouse介绍

2,clickhouse离线安装部署

参考:Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

3,clickhouse安装包下载地址

Index of /clickhouse/rpm/stable/x86_64/

4,备份 clickhouse-backup

clickhouse-backup - 简书

相关推荐
无级程序员8 小时前
clickhouse创建用户,登录出错的问题,code 516
linux·服务器·clickhouse
billy_gisboy1 天前
01-Windows+DockerDesktop部署ClickHouse
windows·clickhouse
billy_gisboy1 天前
02-Windows DockerDesktop部署ClickHouse,解决指定磁盘数据持久化问题与WSL2调优
windows·clickhouse
hkNaruto1 天前
【运维】低配服务器ClickHouse Docker部署故障复盘与优化配置指南
运维·服务器·clickhouse
有梦想有行动2 天前
ClickHouse的Partition和Part概念
linux·数据库·clickhouse
l1t2 天前
利用DeepSeek辅助翻译clickhouse SQL为DuckDB 格式求解Advent of Code 2025第10题 电子工厂 第二部分
数据库·人工智能·sql·clickhouse·duckdb
l1t2 天前
对clickhouse给出的二分法求解Advent of Code 2025第10题 电子工厂 第二部分的算法理解
数据库·算法·clickhouse
麦聪聊数据2 天前
基于SQL+CDC构建MySQL到ClickHouse的实时链路
sql·mysql·clickhouse
lhyzws5 天前
CENTOS上的网络安全工具(三十四) Portainer Kafka-Clickhouse部署(3) 连接kafka和clickhouse
clickhouse·kafka·centos
·云扬·6 天前
3台机器搭建ClickHouse环形复制集群实践
clickhouse