大厂案例 - 实时分析引擎

文章目录

概述

网络安全态势越来越复杂,传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。

基于大数据平台,通过流式实时分析技术可以对全局网络空间进行实时的分析和异常检测,解决单点很难发现和处理的安全问题。

相比与互联网公司常见的大数据实时分析场景,面向企业用户的网络安全分析场景存在很多特殊需求和挑战,本次分享将介绍网络安全领域对实时分析系统的需求,并从这些需求出发,讲解如何设计适合网络安全领域的实时分析引擎,希望为业界解决类似问题提供参考和借鉴。


内容

  • 网络安全领域对实时监测系统的需求
  • 如何选择一个适合网络安全场景的实时计算框架
  • 如何设计网络安全领域的实时分析引擎

收获

  • 了解如何基于 Flink 构造网络安全领域的实时分析引擎
  • 了解实时网络安全分析引擎的架构和设计
  • 了解构建实时网络安全分析引擎遇到的问题和解决方案

思路














建议

  • 不要马上进行架构设计和编码,要先想清楚业务场景 , 场景归类
  • 归类以后参考下开源实现或者业内的主流做法,站在巨人的肩膀上
  • 工程化的时候要充分考虑大数据技术栈的复杂性,避免过度客观
相关推荐
Hello.Reader3 小时前
在 YARN 上跑 Flink CDC从 Session 到 Yarn Application 的完整实践
大数据·flink
二进制_博客7 小时前
eventTime+watermarker+allowedLateness到底窗口关闭时间是什么?
flink·kafka
2501_9414037616 小时前
Python高性能图像识别与TensorFlow实战分享:深度学习模型优化与批量推理经验
flink
Bug快跑-12 天前
面向高并发场景的多语言异构系统架构演进与性能优化策略深度解析实践分享全过程方法论探索
flink
Hello.Reader2 天前
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
大数据·mysql·flink
A尘埃3 天前
Flink实时数据处理
大数据·flink·实时数据处理
expect7g3 天前
Paimon源码解读 -- PartialUpdateMerge
大数据·后端·flink
yumgpkpm3 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
Hello.Reader3 天前
使用 Flink CDC 搭建跨库 Streaming ETLMySQL + Postgres → Elasticsearch 实战
大数据·elasticsearch·flink
❀͜͡傀儡师4 天前
docker 部署Flink和传统部署
docker·容器·flink