Clickhouse使用总结

使用记录。

前段时间参与的项目主要采集大量的日志数据,进行各种的存储和分析,并产出可展示的数据,提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql,但当多种类型日志量急剧上升到千万级别之后,管理查询处理数据就会很慢,已无法满足需求。故查找解决方案,发现神器Clickhouse。

经测试,Clickhouse并发支持率不高,实际在数据库并发连接20-30左右会出现崩溃现象,几分钟后自动重启,所以最好是少量的连接,只进行数据的插入和分析等操作。插入的效率很高,但及其占用cpu资源,服务器性能要求较高。

单机数据量支持亿级别,目前项目中的日志,部分已超亿级甚至10亿级,同时关联其他如组织表用户表等进行多表关联及分组、排序等查询,仍可在几秒内进行处理完成,更复杂的sql能在20秒内执行完成,满足数据汇总需求。

单机能满足大部分的需求,生产环境最好还是集群部署。

1,cilckhouse简介

参考:ClickHouse介绍

2,clickhouse离线安装部署

参考:Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

3,clickhouse安装包下载地址

Index of /clickhouse/rpm/stable/x86_64/

4,备份 clickhouse-backup

clickhouse-backup - 简书

相关推荐
Sais_Z3 天前
ClickHouse的学习与了解
数据库·clickhouse
风中凌乱6 天前
ClickHouse-Backup的安装与部署
clickhouse
风中凌乱6 天前
clickhouse集群的安装与部署
clickhouse
白眼黑刺猬6 天前
ClickHouse从入门到企业级实战全解析课程简介
clickhouse
chenglin0169 天前
ClickHouse、Doris、OpenSearch、Splunk、Solr系统化分析
clickhouse·solr·lucene
慕y2749 天前
Java学习第一百一十七部分——ClickHouse
java·学习·clickhouse
zuozewei15 天前
随笔之 ClickHouse 列式分析数据库安装注意事项及基准测试
数据库·clickhouse
牛牛木有坏心眼(大数据进阶)16 天前
linux系统离线环境安装clickhouse客户端
linux·clickhouse
许心月16 天前
Clickhouse#表记录转换为insert语句
clickhouse
许心月16 天前
Clickhouse#记录隐藏字段
clickhouse