基于elastic stack搭建的ELK系统资源占用预估

1、ES

1.1 内存:ES非常消耗内存,不是JVM用到的内存,而是机器的物理内存,ES在运行期间对JVM Heap(堆内存)的需求较小

实践建议:

  • 数据量过百万,建议单台服务器的内存至少要有16GB;
  • 数据量过亿,建议单台服务器的内存至少要有64GB

1.2 CPU:ES集群对CPU的要求比较低

实践建议:

  • 小型集群(开发/测试):2-4个vCPU。
  • 中型集群(中等负载的生产环境):8-16个vCPU。
  • 大型集群(高负载的生产环境):16个以上的vCPU

1.3 JVM配置:ES服务中,JVM Heap 堆内存一般不超过服务器物理内存的一半,建议1/4。

2、Logstash

CPU: 2-4个vCPU,具体取决于日志处理和过滤的复杂度。

内存: 至少4GB RAM,推荐8GB RAM或更多,具体取决于处理的数据量。

存储: 通常不需要大量存储,因为Logstash处理完数据后会将其转发到Elasticsearch。

3、Kibana

CPU: 2-4个vCPU。

内存: 至少4GB RAM,推荐8GB RAM或更多,具体取决于用户查询和仪表盘的复杂度。

存储: 通常不需要大量存储,除非在Kibana中保存了大量的持久化仪表板和可视化。

4、建议中型生产环境的Elastic Stack集群:

Elasticsearch:

3个主节点,每个节点:4 vCPU, 8GB RAM。

3个数据节点,每个节点:8 vCPU, 32GB RAM, 2TB SSD。

Logstash:

2个实例,每个实例:4 vCPU, 8GB RAM。

Kibana:

2个实例,每个实例:4 vCPU, 8GB RAM。

Beats:

部署在每个需要收集数据的主机上,资源需求较低,例如:1 vCPU, 1GB RAM。

相关推荐
程序员泠零澪回家种桔子1 天前
微服务日志治理:ELK 栈实战指南
后端·elk·微服务·云原生·架构
虫小宝2 天前
淘宝返利软件的日志审计系统:Java Logback+ELK Stack实现操作日志的可追溯与可视化分析
java·elk·logback
一点事5 天前
windows:ELK搭建(单机)
windows·elk·jenkins
没有bug.的程序员7 天前
Spring Boot 日志管理:从 Logback 深度配置到 ELK 万亿级日志中枢实战
java·spring boot·elk·logback·日志·管理
橙露8 天前
日志分析与监控:ELK栈(Elasticsearch+Logstash+Kibana)搭建全流程指南
大数据·elk·elasticsearch
信创天地10 天前
国产化数据库深度运维:性能调优与故障排查实战指南
运维·数据库·安全·elk·自动化·rabbitmq
yangminlei13 天前
Elasticsearch 全面解析:从原理到实战的分布式搜索引擎指南
java·elk
我爱娃哈哈13 天前
SpringBoot + ELK + MDC:分布式系统日志追踪,快速定位跨服务调用链问题
spring boot·后端·elk
信创天地15 天前
信创环境下数据库与中间件监控实战:指标采集、工具应用与告警体系构建
java·运维·数据库·安全·elk·华为·中间件
信创天地16 天前
信创日志全流程管控:ELK国产化版本与华为日志服务实战应用
运维·安全·elk·华为·rabbitmq·dubbo