企业集中式SIEM: Log360 可扩展架构(一)

引言

本指南详细介绍了卓豪 Log360 的可扩展架构,全面概述了其核心组件、架构设计及数据处理流程,助力 Log360 在大规模场景下提供性能、安全性和弹性保障。

介绍

企业面临的可扩展性挑战:概述大规模管理安全数据时遇到的核心难题

可扩展架构的核心原则:拆解实现可扩展性、安全性和高可用性的关键原则

Log360 的架构组件:深入解析日志处理器集群及基于角色的功能分工

数据流处理流程:结合部署场景,说明日志的采集、处理与存储全流程

大规模环境下的安全管理

如今,企业面临着严峻的运营挑战。这不仅源于日志数据的海量增长,还来自于基础设施复杂度的提升、地理分布式环境的普及,以及对高弹性、全天候安全运营的需求。

具体挑战包括:

数据指数级增长:日志来源已从本地服务器扩展至云基础设施、SaaS 应用和远程终端,形成不可预测的海量数据流,单服务器解决方案难以承载

性能显著下降:随着日志量增加,单服务器集中式平台在日志解析、关联分析和检索环节易出现性能瓶颈,可能导致威胁漏检和事件响应延迟

分布式环境复杂:从多个分支机构、公有云 VPC 和远程办公人员处收集日志,带来巨大的安全和运营开销;如何在不暴露核心网络的前提下安全集中数据,成为主要难题

业务连续性缺失:单服务器系统一旦故障,将导致安全可视性完全丧失,使企业对威胁毫无察觉

为应对这些挑战,Log360 采用多层可扩展架构,将日志采集、处理、检索、关联分析等 SIEM 功能拆分为独立且互联的层级。该设计允许各功能模块独立扩展、灵活适配和便捷管理。

Log360 可扩展架构的核心原则

Log360 之所以能在企业级规模下稳定运行,源于一组协同工作的核心架构原则。这些原则定义了 Log360 如何保障性能、安全性和可靠性。

核心原则包括:

水平扩展

工作负载分发

多层架构

基于日志队列系统的可靠性

高可用性

安全性

以下表格展示了这些核心原则与 Log360 对应实现组件的映射关系:

可扩展架构详解在本节中,我们将探讨使 Log360 能够在不同环境中以可扩展性和弹性处理大量日志数据的高级架构。它旨在高效收集、处理和分析日志。

上图展示了一个面向拥有两个远程站点和一个中央处理中心的企业的可扩展部署方案。远程站点的日志通过访问网关集群安全采集,随后转发至日志处理器集群进行集中分析和存储。各组件详细说明如下:

组件拆解

远程站点:远程站点部署的代理程序负责日志解析、过滤、压缩,并通过 HTTPS 协议安全转发至总部(HQ)处理器

访问网关集群:部署在 DMZ 区域,作为反向代理,将远程代理的日志请求安全路由至内部处理器,避免内部节点直接暴露在外部网络中

中央日志处理器:中央位置的日志处理器承担所有核心 SIEM 功能,包括日志采集、威胁情报 enrichment、队列缓存、索引建立、检索、关联分析、告警触发和日志转发;可通过角色分发实现冗余备份和负载均衡

主处理器:处理器集群中指定一台作为主节点,负责管理功能,如配置其他处理器、维护设备设置等

JGroups 通信:处理器之间通过特定端口进行通信,实现节点间协调和故障转移支持,保障高可用性

存储系统:

○Elasticsearch(热存储):存储已索引的日志,支持快速检索

○归档存储(冷存储):根据留存策略长期保存日志

○PostgreSQL 元数据:存储配置数据(如设备设置、告警规则、用户偏好等)

○共享文件系统:支持处理器间协调、Elasticsearch 归档和策略同步

数据流说明

站点 1 和站点 2 的远程代理将日志上传至中央日志处理器集群

访问网关集群将日志路由至对应处理器

处理器收集日志、丰富日志信息(如补充威胁情报)、将日志临时存储在队列中、进行关联分析,并触发告警

同时,日志被索引至 Elasticsearch 以支持快速检索,并根据留存策略归档至共享存储

通过以上高层架构概述,接下来我们将在后续章节中详细拆解每个组件,深入理解它们如何协同工作,以实现可扩展、可靠的日志管理和安全分析。

相关推荐
Hello World......7 个月前
互联网大厂Java面试:从Spring到微服务的深度探讨
数据库·spring boot·微服务·监控·java面试·日志管理·缓存技术
伊玛目的门徒9 个月前
解决backtrader框架下日志ValueError: I/O operation on closed file.报错(jupyternotebook)
python·backtrader·量化·日志管理·回测
Amd7941 年前
PostgreSQL 初始化配置设置
postgresql·性能优化·用户管理·日志管理·安全性·数据库配置·初始设置
飞的肖1 年前
ELK Stack 安装、配置以及集成到 Java 微服务中的使用
java·微服务·日志管理
飞的肖1 年前
在微服务架构中,处理日志的中间件和工具非常重要,它们帮助开发者收集、存储、分析和监控日志数据。一些常用的日志处理中间件及其特点、优缺点介绍。
微服务·中间件·日志管理
cominglately1 年前
部署loki,grafana 以及springcloud用法举例
grafana·loki·日志管理
ManageEngine卓豪1 年前
SQL Servers审核提高数据库安全性
sql server·日志管理·sql server审核
Chenchen_new1 年前
IP-Guard日志数据上传至 SYSLOG 服务器操作指南
运维·服务器·日志管理·ip-guard日志上传
ManageEngine卓豪2 年前
日志收集的方式和优点
网络安全·siem·日志分析·日志收集·日志管理