Gartner发布塑造安全运营未来的关键 AI 自动化趋势

生成式人工智能有望为安全运营团队带来显著的改进，例如实现告警分类和风险评估的自动化。安全运营领导者可以利用这项研究来区分炒作与现实，并确定短期和中期值得推广的人工智能用例。

主要发现

生成式人工智能(GenAI) 有望通过自动化复杂且重复的任务来改变网络安全的各个领域。这显著减少了检测和响应威胁以及团队创建自动化所需的时间和资源。
监督和非监督机器学习技术已被用于高级数据分析和关联功能，从而实现更准确、更快速的检测，包括识别可能表明潜在风险的模式和异常的能力。
人工智能的实施面临着诸多挑战，例如需要高质量的数据以及与现有系统的良好集成。由于缺乏专门的指标，评估人工智能功能的有效性可能颇具挑战性。
供应商格局呈现碎片化，现有供应商增加了人工智能助手，而新兴创业公司则声称要颠覆现有市场。

建议

为每个 AI 用例强制执行必要的人工监督。确定需要人工干预的关键领域，并检查是否能够提供这些资源。
在可靠的数据源之上部署新的 AI 功能，并确保数据源可靠且经过主题专家的验证，同时检查组织是否能够始终如一地提供支持 AI 用例所需的全面性。
优先考虑能够增强可用性和工作流程集成的 AI 功能和产品。评估 AI 解决方案是否能够提升分析师体验并融入现有流程，而不仅仅是提供高级 AI 功能。
制定与每个AI用例相关的强制性培训和技能发展要求。培养一支能够管理AI解决方案的团队，而不是购买会降低现有团队技能的解决方案。

战略规划假设

到 2027 年，由于自动化增强和超大规模策略，25% 的常见 SOC 任务的成本效率将提高 50%。
到 2027 年，30% 的 SOC 领导者将无法成功将 GenAI 集成到生产流程中，原因是输出不准确或出现幻觉。

概述

尽管最初掀起了一波炒作和过高的期望， GenAI和 AI 助手尚未为大多数安全运营团队带来切实的效益。众多的承诺、附带的复杂性和依赖性造成了混乱，并表明实现价值并非易事。为了避免常见的陷阱，避免浪费时间探索无效的各种方法，请利用这项研究来了解哪些方法有效，以及哪些方法在不同的安全运营领域可能成为现实，从而避免实施不当而无法达到预期效果。

大多数组织机构的实验仅限于现有提供商和工具提供的 AI 助手。这些助手涵盖范围广泛，从非常基本的后端任务支持（例如汇总告警描述）到有望加速威胁检测、调查和响应 (TDIR) 或暴露管理流程的更强大的功能。Gartner观察到，较为成熟的安全运营团队会将这些商用现货产品与利用私人聊天机器人的实验相结合，而只有不到16 %的组织机构表示计划针对应用安全、TDIR以及漏洞和暴露管理开展此类实验。这些私人聊天机器人的一些最常见用例包括自定义报告生成（受益于精心设计的提示）、代码分析以协助威胁狩猎调查，以及作为检测工程活动的一部分创建规则或脚本。

只有五分之一（20%）的网络安全领导者报告称，GenAI 显著提高了其组织安全运营的效率和效力。

--- 2025 年人工智能风险管理和使用方面的网络安全创新调查

最近，我们还看到许多安全运营初创公司的崛起，它们为行业带来了一股新鲜空气，大胆宣称可以实现半自动化甚至全自动的事件响应或漏洞评估流程（。现在判断这些技术是否能够兑现承诺还为时过早，但新的可用选项增加了安全运营经理在构建技术路线图时的复杂性。

安全运营的人工智能现在正处于一个转折点，变革变成了现实，增长和融合是亲密的朋友，人类不再被取代，而是被增强，所有这一切都对什么是可能的，什么是不可能的有着明确的期望。

这项研究展示了人工智能在各种安全运营活动中的不同用途，以了解这些用例是否受到严重影响，并期待在一个充满潜力的世界中产生现实的结果。

根据 2024 年 Gartner 安全购买行为调查，35% 的受访者优先考虑使用 GenAI 增强威胁检测，而 32% 的受访者强调使用GenAI进行安全运营（例如，借助分析师协助进行威胁分析和响应）是 2025 年网络安全相关的关键优先事项。这些数据还表明，GenAI 尚未改进检测本身，而主要改进了响应和分析，这表明人们的期望与 GenAI 真正能为 SOC 做的事情之间存在差异（参见图 1，了解 GenAI 在网络安全环境中的三大优先事项）。

图 1：GenAI 的三大网络安全优先事项

本文档分析了以下安全运营领域：

尽管本研究主要关注 AI 与安全运营的集成，但我们必须认识到 AI 的潜力远不止于此。其他关键领域，例如安全风险管理、治理、风险与合规 (GRC)，也可以从 AI 的进步中受益。找到 AI 能够产生重大影响的领域。拥有更广阔的视野有助于制定更具韧性的网络安全方法。

分析

SIEM安全信息和事件管理

SIEM是一个可配置的记录系统，用于收集、汇总和分析来自本地和云环境的安全事件数据。

SIEM 工具的部署和维护可能非常复杂且具有挑战性，通常需要一支技术精湛的安全运营团队。SIEM 可能带来的其他主要挑战包括：导航界面访问海量数据、大量误报以及缺乏或完全没有上下文的技术输出。

人工智能有可能帮助减轻这些团队的负担，协助配置和管理 SIEM 实例，从而增强威胁检测并实现最佳系统性能。

适合实验的好用例：

**更轻松、更快捷的配置：**由于需要与各种系统源集成，SIEM 工具的配置可能很复杂，需要熟练的人员进行部署。通过分析组织的用例和数据源，AI 可以提供设置建议来协助配置，从而缩短部署时间并降低潜在成本。
**查询分析器和构建器：**许多 SIEM 工具现在都提供了一种查询助手，可以帮助将自然语言问题转换为专有查询语言。这类狭窄的用例往往能为新分析师带来价值，同时也能为经验丰富的分析师节省时间。
**改进补救措施：**虽然SIEM 解决方案并非直接负责威胁的补救，但分析师有责任将 SIEM 的输出转化为切实可行的补救步骤（如适用）。人工智能 (AI) 有潜力增强这一能力，根据客户的技术生态系统提供更相关、更切合实际的建议，指明后续步骤并提出调查工作流程。
**检测非活动日志存储：**众所周知，SIEM 工具成本高昂，尤其是在数据管理实践不佳的情况下。人工智能可以帮助检测非活动日志存储或未使用的数据源，并在需要将这些项目移至 SIEM 工具之外的冷存储解决方案时通知安全团队，从而降低整体 SIEM 成本。

长期承诺：

增强与其他技术的集成： AI 代理能够将SIEM系统与其他安全技术连接起来，利用现有 API 来执行所需的补救措施，例如隔离受感染的主机、创建防火墙规则或阻止对资源的访问。它还可以与风险和合规性工具集成，以确定并建议适当的规则创建。
**动态实时配置：**SIEM 工具利用 AI 根据当前威胁形势和网络攻击不断演变的复杂程度自动调整规则。

评估挑战：

**准确性：**随着自动化程度的提高，出现误报/漏报的可能性也会增加，分析师需要花费更多时间来验证输出。
**额外培训：**现有的 SOC 员工需要接受培训以使用和测试 AI 解决方案，例如快速工程。
**重建现有流程：**现有流程可能需要重新评估，以确保有效实施和适当使用 AI/ML 模型。

建议：

**建立适当的边界：**在实施之前确定人工智能的使用边界和流程，以确保能力不重叠，并有明确的用例指导。
**保留人工监督元素：**首先强制采用"人在环中" ，要求所有敏感操作均需人工验证。仅在自动化准确性高于人工准确性的用例中，迁移到"人在环中"（通知人工并生成审计线索）。
**在大面积推广之前优先进行培训：**团队应该在实际运营之前优先进行人工智能素养的培训和提升，通过学习不同的模型类型、及时进行工程设计并考虑使用人工智能的道德考虑。
**利用适当的框架提高效率：**随着团队继续操作 SIEM 平台，确保 AI 模型利用开放网络安全架构框架 (OCSF) 和 MITRE ATT&CK 等框架，从检测、报告和仪表板等社区驱动的内容中获益，让用户随时了解最新威胁。

威胁情报

威胁情报 (TI) 是关于现有或新兴威胁的基于证据的知识（例如背景、机制、指标、影响和行动导向建议）。TI 供应商不断发展，提供更广泛的情报，涵盖网络安全威胁的信息和数据（例如入侵指标 (IoC)）、威胁行为者活动背后的身份、动机和方法信息，以及对数字风险等外部风险的广泛评估。

但对于投资威胁情报 (TI) 项目或部分 TI 解决方案的组织而言，至关重要的是能够将 TI 作为网络安全项目的一部分进行运营，从而使组织内的多个角色受益。人工智能 (AI) 可以支持这一点，它使参与安全运营的人员能够加快对不断扩展的数据源（例如威胁、漏洞和周边环境指标）的分析和关联。人工智能有助于提供可操作的洞察，并缩短平均响应时间 (MTTR)，同时对威胁和漏洞进行优先级排序，以支持事件响应、威胁狩猎和漏洞管理等安全运营活动。

适合实验的好用例：

**更快的调查：**人工智能通过 GenAI 和机器学习加快了查询复杂数据集的过程。
**扩大受众范围：**TI 中的 GenAI 借助自然语言处理 (NLP) 技术，让更多技术水平较低的人员也能轻松使用。TI 中的 GenAI使技术水平较低的人员能够使用其语言提交查询，而无需编写复杂的查询语法。
**支持高级分析和预测模型：**安全从业人员面临着日益严峻的挑战，需要应对不断扩大的威胁形势以及针对不断扩大的攻击面而日益复杂的攻击。人工智能为安全从业人员 (TI) 提供了机会，使其能够提供更高级、更高效、效果各异的分析。TI 可以利用历史 TTP 知识作为生成对抗网络 (GAN) 和博弈论等建模技术的训练数据，并结合历史分析，在新数据流不断涌入时，TI 能够持续帮助确定最可能发生的攻击场景的优先级。

长期承诺：

人工智能技术将进一步支持 TI 数据与已识别的暴露（来自 ASM 和 EAP）的关联、可用控制的验证、自动安全控制评估 (ASCA)和对抗性暴露验证 (AEV)，以评估组织应对已识别威胁和利用范围的准备情况。
通过 GenAI 技术增强的自动化处理可以实现威胁源和组织的暴露相关数据之间的协同作用。
TI 平台利用 AI 数据科学模型，从历史活动和互动中学习，为分析师的调查过程提供密切支持。

评估挑战：

随着自动化和数据量的增加，需要考虑数据隐私和误报问题。
需要保持人类技能来监督和验证 TI 输出。
我们需要弄清楚可能从 AI 增强 TI 工具中受益的扩展角色/人物。

建议：

调查并从 TI 提供商那里了解他们能够实现什么级别的 AI 实施以及他们可以提供的具体运营优势，因为该领域仍然存在太多炒作。
挑战大胆的主张，例如"预测攻击"的能力，并根据现有的结果驱动指标评估新人工智能技术集成的好处。
确保 TI 解决方案中集成的 AI 组件的安全级别，以避免对数据隐私、漏洞和违反欧盟 AI 法案等法规的担忧。
允许 TI 供应商提供基准或统计数据，以支持其 AI 产品和服务的有效性。利用这些结果来筛选出适合组织评估的供应商。

数字取证和事件响应

数字取证和事件响应(DFIR) 程序依赖于对相关数据的访问并进行彻底的分析，无论是物理访问还是通过云端远程访问。虽然现代基础设施、云解决方案和强大的日志记录策略已经解决了内存访问的挑战，但取证分析仍然非常耗时。

监督式机器学习与 LLM 聊天机器人相结合，可以为调查人员检查取证证据提供支持，识别恶意访问模式，并根据IOC和攻击性质进行快速分析。人工智能显著降低了分析的复杂性和所需时间，以及对专业知识的需求。

在需要深入调查事件的情况下，时间至关重要。AI驱动的改进缩短了响应时间，使组织能够更迅速地做出反应。这符合最佳实践和监管要求，减轻了影响并降低了与聘请外部 DFIR 公司相关的成本。

适合实验的好用例：

**自动调查加速：**利用狭义人工智能( ANI )自动进行内存分析，识别可能预示安全漏洞的模式和异常，然后使用 GenAI 生成报告。这不仅确保调查速度更快，而且保持可复制性和客观性。
**用户修复的工作流建议：**根据历史数据和当前威胁推荐有效的流程和具体行动。
**增强的报告功能：**集成聊天机器人或私有LLM，并根据目标受众调整定制提示，可以生成详细的定制报告，重点关注攻击性质、技术及其对组织的影响。报告自动化可以节省时间，并确保针对不同受众的准确性和相关性。
**可扩展的数据处理自动化：**部署人工智能代理，高效处理来自不同内存源和文件格式的海量数据。这种自动化功能能够提供及时的洞察，从而提高安全可见性，并增强组织的整体安全态势。

长期承诺：

与其他 SOC 组件完全集成，提出安全控制配置或缓解措施的变更并应用它们。
自动生成审计报告并制定实施计划和预算，减少时间和精力，同时确保遵守监管标准并优化预算审批。
主动策略和配置更新，通过持续分析结合多种人工智能技术来建议和实施新的策略和配置更改，以防止未来发生事故，不断改进安全措施。

评估挑战：

与任何生成式人工智能技术一样，在准确性得到全面审查和大规模确认之前，仍然需要对人工智能验证进行人工监督。
许多产品声称在其解决方案中使用高质量的训练数据，但缺乏透明度迫使潜在客户仅根据其结果来评估解决方案。
构建定制应用程序来解决隐私问题可能仅限于处理调查结果，因为分析组件还需要组织内可能无法获得的高质量数据。
由于缺乏全面的业务背景，存在做出错误决策和/或补救措施的风险。
商业和定制解决方案的构建/购买成本可能很高，而且运行成本也很高，需要大量数据处理和潜在的大容量存储。

建议：

保持人类的专业知识以进行工作流程验证、建议流程和数据培训。
使新购买的人工智能解决方案符合合规性和程序，以避免受到处罚和难以信服的报告。
评估并验证基础设施兼容性和潜在的隐性成本。

威胁检测、调查和响应

威胁检测与响应是指在关键基础设施中识别并处理主动威胁，以限制其对日常业务运营的影响的过程。执行威胁检测与响应职能的组织主要采用两种模式：内部安全运营职能，由全天候团队或威胁分类分析师、调查员和事件处理员组成；或外包服务提供商，提供托管检测与响应等功能。许多组织会混合使用这两种模式，以创建一种经济高效的混合运营模式。

人工智能以及监督式和非监督式机器学习在威胁检测和响应领域的影响并非近来才出现。使用基于行为的分析来检测威胁已存在多年，并且是大多数支持TDIR的技术的内置功能。然而，相关领域的发展使得更新的GenAI技术能够更广泛地应用于开发新的检测内容、告警情境化、事件调查和执行报告创建。这些最近添加到商业检测工具中的技术（通常以AI助手的形式出现）引发了一些关于投资SOC能力的组织在构建还是购买策略方面的问题，即：

我们是否需要托管服务提供商，或者该技术是否能够提供同等的体验？
人工智能驱动的检测技术是否会自动适应以发现环境中的最新威胁，还是仍然需要检测工程功能？

重要的是要记住，目前在SOC中看似合法的AI用例，在未来数月甚至数年内，很可能被视为权宜之计。理想情况下，安全控制措施只会在无法自动化的问题上触发告警，从而有信心阻止有害行为。然而，网络安全行业缺乏减少误报的动力，因为漏报（漏报事件）的影响远大于对良性活动进行错误分类的额外工作。

在这个早期阶段，正确的策略是根据已有的威胁检测和响应目标和要求来试验新技术。在正确的指导下，检测内容和自动告警情境化功能的开发可以显著提高分类速度/告警处理速度（通过减少误报和复杂的代码开发工作）以及团队的一致性。

然而，不应让这些技术独自承担这些任务。需要进行人工输出验证工作，以确保所提供结果的准确性和相关性，尤其是在采取建议的应对措施之前。这些不准确性部分是由于幻觉造成的，也是因为这些功能基于增强检索驱动的系统，这意味着它们不会思考或创新，只是根据数据集和学习模型提供最可能的响应。根据当前业务环境或优先事项进行调整的能力尚未得到有效证明；因此，如果允许此类技术进行自我调节，可能会产生未知且无法量化的影响。

适合实验的好用例：

**用例效率：**计算和内存驱动的效率以及代码合理化，如今都可以通过生成式 AI 解决方案实现。这是因为编程语言是固定的，并由基于控制规则的语法进行调节，并且因为 LLM 可以更快地理解和解释此类固定规则集。
**一致性：**检测规则的结果可能因开发人员解释、可用数据和对分类架构的理解而异。LLM 能够轻松应用一组管理标准并确保内容及其输出的一致性。
**重新评估和优化：**考虑到 SOC 团队和检测工程师的开销和工作量，AI 可以根据分析结果和误报记录以及数据架构的变化和新数据的可用性，定期评估和优化检测用例。
**错误检查和治理：**可以训练 AI 驱动型系统建议并可能采取行动的响应作，以了解最佳实践和策略要求，以确保建议或采取的任何响应作都在此类策略或标准的约束范围内。
**威胁情境化：**LLM 主要利用摘要功能，能够使用最新的威胁情报，并根据对技术和 IOC 的解释以及对日志数据/告警的分析，提供有关相关攻击活动、威胁行为者和 TTP 的信息。
**暴露情境化：**使用搜索和摘要功能，LLM 能够列出一组资产或用户的漏洞、错误配置和其他问题。这是基于从漏洞扫描、态势管理和其他风险暴露驱动解决方案中收集和分析的数据，将初始感染的原因与可能影响相邻系统的主动漏洞相关联。
**执行事件报告创建：**允许自定义报告的商业工具可以帮助组织更好地为其生成的报告的目标受众提供服务。这也是私有 LLM 实验的一个很好的用例，其中自定义的可能性要高得多。

长期承诺：

动态检测用例会根据现实世界情报、数据源构建的变化以及安全控制配置的有效性进行调整。这将需要多种人工智能方法以及语言模型与其他支持技术的紧密集成。
基于来自检测平台的运行状况和处理统计数据以及事件案例管理系统中概述的解决和补救信息的可靠反馈循环，减少误报并提高计算效率。
事件调查任务的大量自动化，减少了对人工介入的要求。

评估挑战：

人工智能工具的拟人化，将买家的期望锚定在完全自动化上，并承诺以高质量取代人类。这将对需求产生负面影响，导致SOC中所需技能和技术的缺失。
可持续地使用AI解决方案来增强SOC团队的能力，需要不断改进SOC团队的技能组合和流程。短期培训可以验证发现的结果，审核/纠正发现的错误，并基于这些改进改进工具。从长远来看，保持批判性思维分析技能和对流程的了解至关重要。
此类系统可能会产生比人类以机器速度评估和调整更多的输出，这意味着虽然捕获了审计信息，但没有足够的时间或人员来有效评估所开发功能的准确性或相关性。
要有效衡量人工智能助手技术在更广泛的实施范围内所带来的效益，需要预先建立并验证以结果为导向的安全指标。如果没有这些指标，短期认知偏差（例如，新工具的出现）可能会过度补偿，导致安全运营团队在迁移过程中即使存在风险，也无法获得预期的收益。
那些没有兴趣开发自己的解决方案的买家将依赖商业解决方案的封闭性质来保护他们的知识产权，这使得验证此类解决方案的准确性变得非常困难或不可能。

建议：

注重团队扩充。根据经济形势，降低成本可能会推动自动化项目，但目前的技术只能增强员工，而不能取代员工。
重点关注非业务特定的检测用例，使更广泛的 IT 社区受益的通用用例很可能已经过更广泛的测试和审查。
尽早调整内部流程，包括验证步骤，任何可能产生重大影响的发现或响应都需要人工批准和验证，然后才能升级或采取行动。
衡量复杂调查任务的标准是结果的质量，而不是速度。
在更换解决方案之前，务必仔细评估其优势，并质疑人工智能驱动解决方案的"新颖性" ，尤其是在检测领域，因为许多机器学习标准已经实施多年。不要因为人工智能驱动替代方案的前景而放弃更传统的解决方案。

威胁暴露管理

威胁暴露管理涉及一系列流程和技术，使组织能够持续一致地评估其数字资产的可见性、可访问性和可利用性。有效的持续威胁暴露管理 (CTEM) 计划必须有效管理此方法，以确保其成功。

人工智能技术已经融入威胁暴露管理领域的支持技术相当长一段时间了，并且正在不断成熟。

人工智能在威胁暴露管理中发挥着重要作用，它能够提高识别和缓解组织数字资产威胁的效率、准确性和有效性。一些支持技术利用机器学习算法来识别可能表明存在漏洞或其他暴露（例如安全控制漏洞）的模式和异常。通过自动化评估流程，这些技术显著减少了检测暴露所需的时间和资源，使组织能够更迅速地应对潜在威胁。

威胁情报产品中新增的预测分析技术，能够更好地确定补救措施的优先级，从而增强威胁暴露管理。这些先进的威胁情报系统能够处理来自不同来源（例如安全源、威胁数据库和历史攻击模式）的海量数据，以识别新兴威胁和潜在暴露。此功能使组织能够通过了解最新的攻击媒介和技术，始终领先于威胁行为者。此外，基于 LLM 的AI助手可以根据暴露的严重程度及其对组织的潜在影响，识别最关键的暴露，使安全团队能够将精力集中在最紧迫的问题上。这种 AI 技术的组合使组织能够实施预防措施，例如修补和安全控制重新配置。通过评估将 AI 技术应用于威胁暴露管理流程的功能和产品，组织可以采取更主动、更具战略性的方法来保护其数字资产，最终增强其整体安全态势。

适合实验的好用例：

**威胁识别：**通过结合无监督（聚类）和监督机器学习（分类），处理来自各种来源（例如市场趋势、社交媒体和新闻报道）的海量数据，并从中发现关联性，可以识别出那些可能不易察觉的潜在风险和暴露。这使得组织能够主动识别漏洞和其他威胁暴露。
**数据分析和模式识别：**通过利用监督式机器学习算法（例如决策树或逻辑回归），人工智能技术可以分析历史数据，识别出预示潜在风险的模式和相关性。例如，根据本地情况调整自定义或专有的可利用性评分。
**优先级：**人工智能算法可以评估已识别的漏洞和其他暴露的严重性和潜在影响，帮助组织根据威胁行为者活动、业务影响和现有的补偿控制等因素确定首先要解决的问题和弱点的优先级。
**攻击路径映射：**攻击路径映射利用知识图和自动化来执行网络数据分析以识别潜在的漏洞和瓶颈，使用机器学习来预测可能的攻击路线，并提供实时监控和威胁情报集成以动态更新和优先考虑安全措施。
**决策支持：**人工智能助手利用LLM 或其他生成式人工智能技术，能够提供切实可行的洞察和建议，并揭示其他机器学习技术对数据和模拟的分析。这有助于在风险管理和有效资源分配方面做出明智的决策。
**日常任务自动化：**人工智能助手可以帮助自动化与威胁暴露管理相关的日常任务，例如数据收集、报告和合规性检查。这减轻了人力资源的工作量，使他们能够专注于安全运营中更具战略性的方面。
**自动修复：**推荐系统可以通过建议甚至实施已知漏洞和其他暴露的修复来帮助自动化补救过程，从而加快响应时间并减少人为错误。

长期承诺：

跨环境（例如跨多个组织）的事件分析可以进一步改善风险评分，使组织能够在大多数风险暴露被利用之前解决它们。
当补救建议达到近乎完美的准确性并可自动测试其有效性和安全性时，跨团队补救工作流程自动化可能会成为可能。
事件响应和风险暴露管理可以通过整合风险暴露、业务环境、告警和安全控制配置来相互增强。这种集成可以根据业务关键系统的暴露情况自动调整告警的严重程度，自动创建或更新策略，或根据早期攻击信号确定补救措施的优先级。

评估挑战：

监督式机器学习需要大量高质量数据才能良好运行。由于可用数据量巨大，组织机构难以进行定制检测，供应商也难以获取准确全面的信息并确定哪些数据应纳入威胁暴露管理程序。
将新技术集成到现有系统中非常复杂，通常会带来特定的挑战，例如确保与当前威胁暴露管理框架的兼容性以及解决整合过程中的潜在中断。
机器学习算法可能会产生误报，将良性活动错误地识别为威胁，错过实际暴露，导致资源浪费或忽视问题。
缺乏具有足够人工智能素养的熟练风险管理专业人员，再加上这些人工智能系统的工作方式透明度低，使得组织难以找到专家来有效地开发和管理人工智能系统。
人工智能系统可能会从训练数据中继承偏见，这使得确保威胁暴露管理治疗建议的公平性变得具有挑战性。
尽管许多供应商都提供人工智能助手或利用机器学习的功能，但这引发了一个问题：这些功能是否会对生产力和工作流程带来微乎其微的改善，从而浪费时间，而不是带来切实的改进和成功。有些任务虽然是手动执行的，但可能比利用基于人工智能的自动化技术更快完成。

建议：

确保定制人工智能系统使用的数据准确、全面、最新，同时不断更新和训练人工智能系统以适应新的漏洞和暴露。
将 AI 工具无缝融入当前的安全流程，以增强功能，而不会中断既定的补救工作流程。
保持人类的专业知识以便做出更好的决策，利用人工智能进行数据处理和提出建议，但保持"人在环中"以获得战略业务洞察和背景。
培养和维持一支能够管理和优化人工智能系统的熟练劳动力，弥合人工智能技术与风险管理专业知识之间的差距。

进攻性安全

进攻性安全是一种主动的网络安全方法，它模拟现实世界中对组织系统、网络和应用程序的攻击，以便在恶意攻击者利用漏洞之前识别漏洞。它包括渗透测试、红队测试和道德黑客攻击等活动，旨在通过发现和解决安全漏洞来增强组织的防御能力。

人工智能技术通过以下方式增强进攻性安全：

自动提取相关元素（使用语言模型），例如来自报告和其他数据源的妥协指标。
利用暴露图来确定哪些收集到的攻击技术可以有效对抗组织内的关键目标。
作为对抗性暴露验证工具的一部分，建议和协调攻击场景。
支持红队成员的日常任务，例如代码或脚本创建，或报告生成。

适合实验的好用例：

**提升效率：**使用大型语言模型，通过大规模分析公开可用的数据，可以半自动化收集有关目标网络的信息（如开放端口、系统详细信息和网络拓扑）的过程。
**攻击活动定义和优先级：**人工智能助手或专属聊天机器人可以通过处理大量数据来支持攻击性安全的范围定义和优先级排序，并提出针对高风险资产的攻击方案。这确保了更高效的资源配置，并最大限度地提高了安全评估的有效性。
**上下文感知测试：**利用商业工具中集成的知识图谱或组织内部定制的知识图谱，攻击性安全团队可以利用各个应用程序独特的结构、逻辑和业务上下文。这些上下文可以添加到更具相关性和影响力的测试结果中。
**增强的攻击个性化：**商业或定制聊天机器人可以根据定制提示创建高度个性化的社会工程攻击。另一个例子是，使用人工智能代码助手支持内部红队开发恶意软件变种，优化规避技术以绕过安全系统。这有助于提供比商业工具中嵌入的预定义场景更接近定向攻击的攻击模拟。
**漏洞利用后指导：**嵌入在攻击性网络安全工具中的人工智能助手可以通过自动分析受感染系统、整合威胁情报和其他环境背景来提供后利用指导，以定制可行的技术和子技术。
**增强报告：**人工智能聊天机器人通过自动化数据分析和报告生成、为不同受众定制内容以及识别趋势来帮助攻击性安全报告，从而提供及时、清晰和可操作的见解和量身定制的补救建议，以有效地确定补救措施的优先级并减轻风险。

长期承诺：

大规模自动化，支持高效规模的红队进行持续的、全组织的评估。
与威胁情报和风险暴露管理系统进行大规模动态集成，以最低限度的人机交互为攻击性安全测试提供高度个性化和优先化的范围。这将有助于缩短测试和修复关键问题之前的时间窗口。
整合先前评估和事件数据的记忆，以提出更有效、更有针对性和更安全的攻击场景。

评估挑战：

LLM 的更具战术性的用途可能是利用某种专属聊天机器人，缺乏报告和指标来展示和报告进度。
缺乏人工智能知识和缺乏内部培训资源可能会限制进攻性安全团队启动实验和评估结果的能力。
与任何其他用例一样，误报和漏报的风险仍然存在。但在攻击性安全场景中，更高级的用例（例如代码生成或使用 LLM 制定攻击计划）可能会产生更大的负面影响。
由于大多数人工智能技术都利用现有资源的学习，它们可能难以应对全新且复杂的攻击场景。这是一个典型的用例，需要熟练的人类不断创新。
在考虑在第三方商业工具中使用大型语言模型时，解决隐私、道德或法律问题将面临挑战。

建议：

尝试使用保持人类专业知识和监督的人工智能助手来验证输出。
对商业和定制实验的结果进行定性或定量评估，以更好地学习和提高性能。
确保投资符合你的需求和用例。如果你的红队计划尚不成熟，请勿投资全自动系统。

后记

安全运营是试验新AI技术最具活力的领域。许多初创公司承诺实现所有用例的完全自动化，这掩盖了大多数组织目前能够应对的更具战术性的实验。AI实验应该始终从已确定的网络安全用例开始。正因如此，上文重点关注了各种可用技术对安全运营团队的潜在影响。为解决网络安全中人工智能的复杂性提供了更多见解，为有效评估人工智能助手提供了指导。