大厂案例 - 实时分析引擎

文章目录

概述

网络安全态势越来越复杂,传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。

基于大数据平台,通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测,解决单点很难发现和处理的安全问题。

相比与互联网公司常见的大数据实时分析场景,面向企业用户的网络安全分析场景存在很多特殊需求和挑战,本次分享将介绍网络安全领域对实时分析系统的需求,并从这些需求出发,讲解如何设计适合网络安全领域的实时分析引擎,希望为业界解决类似问题提供参考和借鉴。


内容

  • 网络安全领域对实时监测系统的需求
  • 如何选择一个适合网络安全场景的实时计算框架
  • 如何设计网络安全领域的实时分析引擎

收获

  • 了解如何基于 Flink 构造网络安全领域的实时分析引擎
  • 了解实时网络安全分析引擎的架构和设计
  • 了解构建实时网络安全分析引擎遇到的问题和解决方案

思路














建议

  • 不要马上进行架构设计和编码,要先想清楚业务场景 , 场景归类
  • 归类以后参考下开源实现或者业内的主流做法,站在巨人的肩膀上
  • 工程化的时候要充分考虑大数据技术栈的复杂性,避免过度客观
相关推荐
yyk333245 天前
Flink详细讲解
大数据·flink
且从容.15 天前
ubuntu安装flink
linux·ubuntu·flink
用户36105886261217 天前
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路
大数据·flink
Thomas214319 天前
flink paimon 参数 ignore_progress=true
大数据·flink
源图客20 天前
Apache Flink 2.3.0(最新版本)
大数据·flink·apache
abigalexy21 天前
Flink核心疑难问题、踩坑盲点-汇总
大数据·flink·big data·bigdata
Sayai21 天前
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)
大数据·运维·分布式·flink·kafka·消息队列·高可用
渣渣盟22 天前
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容
android·大数据·flink
@小匠23 天前
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
大数据·hive·flink
Sayai23 天前
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离
java·大数据·性能优化·flink·实时计算