作者：来自 Elastic Mike Nichols, Mike Paquette
网络安全领域仿佛是现实世界的一个映射，安全运营中心（security operation center - SOC）就像是你的数字警察局。网络安全分析师就像是警察，他们的工作是阻止网络犯罪分子对组织发起攻击，或者在他们尝试攻击时将其阻止。当发生攻击时，类似于数字侦探的事件响应人员会从多个不同的来源收集线索，以确定事件的顺序和细节，然后制定补救计划。为了实现这一目标，团队需要将许多（有时是数十个）产品结合起来，以确定攻击的全貌并识别如何在业务遭受损失和损害之前停止威胁。
在网络安全的早期，分析师们意识到，集中证据可以简化数字调查。否则，他们将花费大部分时间尝试从那些前述的产品中分别收集所需的数据 ------ 请求访问日志文件、搜集受影响系统的信息，然后手动将这些不同的数据联系起来。
我记得在我从事取证工作的时候，使用过一个名为 "log2timeline" 的工具，将数据按时间序列格式组织起来，还可以根据活动类型（如文件创建、登录等）进行颜色编码。早期的 SANS 培训课程教授了这个工具和时间线分析的强大功能。这实际上是一个 Excel 宏，可以将数据整理成一个 "超级" 时间线。这是革命性的，提供了一种组织如此多数据的简单方法，但它的生成需要很长时间。
现在，想象一下，如果侦探们必须等待几天才能进入犯罪现场，或者在他们找到合适的人给予权限之前，现场的证据对他们是禁止接触的。这就是网络安全分析师的生活。
在获取证据有限的情况下解决犯罪是一个失败的提议
在我的 SOC 职业生涯中，我经常感到惊讶的是，高级分析师花费在分析工作上的时间非常少。他们大部分的时间都花在管理数据上，比如追踪数据来源和筛选相关数据的日志。
在 21 世纪初，出现了用于为安全团队集中 "安全日志" 的产品。这项技术很快成为 SOC 中的一项基本技术，并且（经过几次命名的演变后）最终被称为安全信息与事件管理（security information and event management - SIEM）。这种产品承诺消除我们数据周围的迷雾，为团队提供一个中央存储和分析组织安全相关信息的地方。在本系列的第一部分中，我们将介绍 SIEM 演变的前三个主要阶段。
SIEM 二十年来的演变
SEM/SIM 的诞生（第0代）------ 21世纪初
集中收集和合规性
这一初期的安全日志收集被定义为 SEM（security event management - 安全事件管理）或 SIM（security information management - 安全信息管理）。它收集了系统活动的数字记录（日志数据）以及事件数据的组合。这对分析师来说是一个游戏规则改变者，因为他们现在控制着一个包含了解决数字犯罪所需数据的系统。基本上，安全团队现在拥有了自己的数据孤岛。这种产品革命主要是由于收集数据的需求驱动的，比如维护取证日志，并能向审计员和调查员证明确实收集了这些日志。这种合规性用例推动了集中安全事件收集的采用。
这种新型产品带来了挑战。SOC 现在需要安全工程师来管理大量数据。他们还需要预算来收集和存储这些信息，因为他们正在将数据从众多其他系统复制到一个单一的集中系统中。但好处是显而易见的：通过减少从整个企业收集和排序数据所花费的时间，加速检测和补救措施。一旦收到攻击通知，事件响应者几乎可以立即开始工作。
从合规到威胁检测 ------ 创建 SIEM 1.0
检测建立在收集的基础上
下一个进步是在集中的 SIEM（security information and event management - 安全信息与事件管理）层应用检测逻辑。SIEM 是 SEM 中的事件数据和 SIM 中的信息数据的组合。SEM/SIM 的合规性和证据收集能力很强，但在近十年的数据收集和审查后，分析师意识到他们可以通过集中信息做得更多。SIEM 不仅仅是从其他系统整合警报并提供一个集中的日志和事件记录系统，现在还可以跨多个数据源进行分析。检测工程师可以从一个新的角度操作 ------ 发现在仅对一个数据源进行分析的点解决方案中可能被忽略的威胁，例如你的防病毒软件或网络防火墙。
这种演变带来了很多挑战。除了更需要专业的专业知识和预先构建的规则外，SIEM 还集中收集了来自众多点解决方案的警报，每个解决方案本身都产生了很多误报，加剧了问题。SIEM 分析师必须审查集体网络和桌面警报。这导致了 SIEM 分析师经常问的一个问题："我从哪里开始？"再加上 SIEM 本身的一整套新的检测警报。你的 SIEM 现在包含了网络中所有其他系统警报的总和，加上通常生成的警报数量。不用说，SIEM 产生了很多警报。
机器学习的承诺
机器学习（machine learning - ML）承诺以较少的维护需求改善未知威胁的检测。其目标是识别异常行为，而不是依靠硬编码的规则来查找每一个威胁。
在机器学习出现之前，检测工程师必须分析已经发生的攻击或可能发生的攻击（源自第一方研究），并为这种潜在的事件编写检测规则。例如，如果发现了一种利用发送给 Windows 进程的某些特定参数的攻击，人们可以编写一个规则来寻找执行时调用这些参数。但是，对手只需更改参数的顺序或以不同方式调用它们，就可以避免这种脆弱的检测。而且，如果这些参数有合法用途，可能需要花费几天（甚至几周）的时间来调整，以从检测逻辑中去除这些误报。
机器学习的承诺是极大地减少这一挑战。具体来说，ML 在两个方面有所帮助：
-
"无监督" 的基于ML的异常检测：分析师只需要决定在哪些领域寻找未知行为，如登录、进程执行和访问 S3 存储桶。然后，ML 引擎学习这些领域的正常行为，并标记出异常情况。SANS DFIR 在 2014 年制作了一个著名的海报，上面写着 "Know Abnormal...Find Evil. - 了解异常...发现恶意"。
-
训练有素或 "监督" 的 ML 模型：人类分析师可以看到某些事物，并且他们的大脑可以联系起来，这看起来与之前观察到的攻击有些类似。这些专家能够了解攻击的发生方式，并将这些知识应用于寻找遵循类似进展的未知攻击。传统上，他们在威胁狩猎中使用这种专业知识来帮助发现安全产品可能错过的威胁。现在，有了机器学习，他们能够制定训练有素的模型检测，具有从以前的攻击中学习并找到以类似方式进行攻击的新攻击的能力。专注于行为 ------ 而不仅仅是原子指标，如哈希值、文件中的字符串和 URL ------ 允许检测具有更长的使用寿命和更高的攻击检测率。
2014 年 SANS DFIR 海报
异常活动的识别，或称为异常分析，使安全团队能够快速识别 "奇怪" 的活动并进行调查。奇怪可能是指某个用户在奇怪的时间从奇怪的地点登录，有时这可能是一名窃取了凭据以访问网络的对手。但有时候，这可能是正在度假的 Sally 在凌晨2点登录来解决网络问题。虽然误报增加了，但发现全新、以前没有发现的威胁的能力足以使人们对处理误报的额外帮助感到满意。用户和实体行为分析（UEBA）时代已经开始，现代 SIEM 系统由基于规则和机器学习的检测技术驱动。
SIEM 2.0 --- 编排和自动化
从被动到主动的转变
正如我们所见，SIEM 曾经主要用于历史问题报告，而不是真正的端到端解决方案。SIEM 能够提醒你存在问题，但之后的清理工作需要你自行处理。这一情况随着 SOAR（security orchestration, automation, and response - 安全编排、自动化和响应）的引入而改变。这一新的产品线是为了填补 SIEM 中的功能缺口而创建的。它们提供了一个地方，用于收集和组织分析师希望执行的步骤以缓解攻击，并提供连接器连接到其它系统的生态系统以启动来自 SOAR 系统的响应。在我们的警察部门类比中，SOAR 就像是指挥其他系统执行命令的交通警察。它们是连接 SIEM 发现攻击和其他系统响应行动的粘合剂。
就像 UEBA 一样，从中央位置组织响应计划并启动行动的能力已成为现代 SIEM 的期望功能。现在，在 SIEM 2.0 的生命周期中，预期 SIEM 能够跨组织大规模收集数据（第 0 代），利用基于规则和基于机器学习的技术检测点解决方案可能错过的新威胁并在不同系统间进行关联（SIEM 1.0），并允许规划和执行响应计划（2.0）。实际上，一个新的缩写词 ------ TDIR（threat detection, investigation, and response - 威胁检测、调查和响应）------ 被创造出来，以捕捉处理攻击全范围的能力。
SIEM 的第三代 --- 现代安全分析
在网络安全中的生成式人工智能革命
尽管未能解决一个基本挑战 ------ 网络安全领域的严重技能短缺，但 SIEM 已经成为 SOC 威胁检测、分析和调查的基础。一项由 IBM 委托进行的、由 Morning Consult 完成的 2023 年 3 月的研究发现，SOC 团队成员 "只有在一个典型工作日内完成了他们应该审查的警报的一半"。这是一个 50% 的盲点。数十年来的渐进改进（简化工作流程、自动化常规步骤、指导初级分析师等）已经有所帮助 ------ 但还不够。随着消费者可访问的具有网络安全领域专业知识的生成式人工智能模型的出现，情况正在迅速改变。
这是技术第一次从高级分析师那里学习，并自动帮助初级成员应用这些知识。生成式人工智能现在帮助安全从业者制定特定于组织的应对计划、优先处理威胁、编写和策划检测、调试问题，以及处理其他常规且耗时的任务。生成式人工智能承诺将自动化反馈循环反馈到 SOC，实现每天不断的改进。我们现在可以通过这种自动化反馈和学习来闭环 OODA 循环。
由于大型语言模型的性质（生成式人工智能背后的科学），我们现在终于可以利用技术来跨越大量数据点进行推理，就像人类一样 ------ 但规模更大、速度更快、理解更广泛。此外，用户可以使用自然语言与大型语言模型进行交互，而不是使用代码或数学，进一步降低了采用的障碍。以前从未有过分析师能够用自然语言提问，比如 "我的数据中是否包含任何可能对我的组织构成风险的活动？" 这是 SIEM 中可以嵌入的功能的能力上的前所未有的飞跃。生成式人工智能已成为一个强大而准确的数字 SOC 助手。
在安全运营工作流程中利用人工智能革命的产品将推出 SIEM 3.0。
了解 SIEM 演变的更多信息
本博文回顾了 SIEM 的演进历程，从集中收集数据到在组织层面检测威胁，再到自动化和编排以加速问题的解决。现在，在 SIEM 技术的第三阶段，我们终于着手解决网络安全领域的严重技能短缺。
在本系列的第二部分中，我们将讨论 Elastic Security 从 TDIR（威胁检测、调查和响应）发展为全球首个、也是唯一的 AI 驱动安全分析产品的演变过程。与此同时，你可以通过阅读这本电子书《网络安全的生成式人工智能：一个乐观但不确定的未来》来了解安全专业人员对生成式人工智能出现的反应。敬请期待第二部分！
本文中描述的任何功能或功能的发布和时间均由 Elastic 自行决定。目前不可用的任何功能或功能可能无法按时或根本无法交付。
在本博文中，我们可能使用或参考了第三方生成式人工智能工具，这些工具由各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权，对这些工具的内容、操作或使用不承担任何责任或义务，也不对你使用此类工具可能导致的任何损失或损害承担责任。在使用涉及个人、敏感或机密信息的 AI 工具时，请谨慎行事。你提交的任何数据可能用于 AI 培训或其他目的。我们不能保证你提供的信息将被保密和安全地保存。在使用任何生成式人工智能工具之前，请熟悉其隐私实践和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、标志或注册商标。所有其他公司和产品名称均为其各自所有者的商标、标志或注册商标。
原文： Tracing history: The generative AI revolution in SIEM | Elastic Blog