Gartner发布2025年人工智能和网络安全技术成熟度曲线：网络安全领域对AI的期望值达到顶峰

人工智能（AI）和网络安全两个领域之间的交集由来已久，而生成式AI则使变革的步伐进一步加快。本技术成熟度曲线可帮助首席信息安全官（CISO）利用AI创新成果来优化网络安全项目，并通过有强力的安全指导更有效地支持AI计划。

战略规划假设

到2029年，针对AI智能体的网络安全攻击中，超过50%将利用访问控制，使用直
接或间接的提示注入作为攻击向量。
到2027年，在网络安全领域的成功AI实施中，90%将是战术性的任务自动化和流程增强，而非角色替代。
到2030年，由于生成式AI准确性下降、技能流失和缺乏竞争力薪酬，半数企业机构将在至少两个关键岗位上面临不可逆转的技能人才短缺问题。

分析

需要了解什么

围绕AI的炒作促使网络安全领导者在高风险领域进行投资。这些投资往往更多受到兴奋情绪驱动，而非基于经过验证的成果，因此会流向不成熟的AI驱动型网络安全技术。在这一背景下，为了理解需要保护的新型AI生态系统，亟需快速培养AI素养。AI素养还可支持建立强大的评估框架，并有助于防止对尚未验证的AI安全解决方案的不当投资。

与此同时，企业机构正在迅速扩大对AI计划的投资，鼓励员工采用生成式AI应用，以及越来越多地使用AI智能体。这些措施包括试验和扩展定制AI应用的使用，以及管理员工对第三方AI应用的广泛采用和在现有企业应用中嵌入的AI功能。但是，企业对于大语言模型（LLM）和其他AI模型驱动的新兴AI功能、应用和智能体的采用速度之快，已经超过了安全控制成熟度的发展速度，对现有的最佳实践造成挑战。

为应对这些挑战，网络安全领导者承担了治理和保护这些AI计划的职责，同时也在试验由LLM驱动的新一批网络安全功能。随着精选的少数AI计划投入生产，未得到解决的安全成熟度差距问题必然会导致新攻击面的出现，增加整个企业机构发生网络事件的潜在风险。网络安全领导者必须探索新兴实践来保护新的AI计划，同时建立可持续的评估实践机制，以充分实现其投资价值，并避免AI投资造成的浪费。

技术成熟度曲线

今年，Gartner首次发布了人工智能和网络安全技术成熟度曲线。该技术成熟度曲线表明，在与AI相关的工作中，CISO肩负双重任务：一方面，需要适应由最新AI技术（例如基于文本的大语言模型或多模态基础模型）驱动的应用的大规模使用与开发；另一方面，则要提升网络安全团队的AI技能，以便从AI中受益。

Gartner认为，网络安全与AI之间复杂的关系，可分为四个主题进行阐述。

1、AI 素养的缺失将导致投资浪费和安全漏洞

网络安全领导者不必成为AI专家，但确实需要具备充分的AI素养，以提升技能，理解新兴AI应用的新攻击面。在过去两年中，这意味着要理解提示工程------包括如何减少提示注入和幻觉问题------以及大语言模型的能力和局限性；而从2025年到2026年，网络安全领导者必须迅速确定：

代理型AI对网络安全领域的AI到底意味着什么，以识别"智能体洗白（agent washing）"并避免投资浪费。同时，对于在现有企业应用中嵌入代理型AI功能的安全性，也要酌情纳入优先考虑。
在评估网络安全领域的AI智能体时，为什么需要调整期望和要求，仅依靠大语言模型可能无法完全满足需求，可能需要借助复合型AI。
无处不在的模型上下文协议（MCP）客户端和服务器的影响。
难以捉摸的通用人工智能时间表是当下需要担心的问题，还是应该将其视为不可预测的未来事件。

面对如此快速的变革，网络安全领导者应该考虑设立"AI牵头人"角色，以帮助创建和维护强大的AI知识体系。AI牵头人角色类似于网络安全领导者在开发团队中设立的"安全牵头人"角色。

2、专业AI安全工具和实践不断涌现

多项AI安全技术虽然处于期望膨胀期，但尚未到顶。AI信任、风险和安全管理（AI TRiSM） 表明AI风险已超出网络安全的范畴，需要CISO和AI领导者之间的协作。AI治理平台 、AI使用控制 和AI运行时防御 支持对软件即服务（SaaS）AI应用和现有企业应用中的嵌入式AI功能的发现和监控，从而支持AI网络安全治理。

生成式AI应用扩展了传统的攻击面。即使出现新技术，企业机构如果开发了定制的AI应用和AI智能体，则应该继续利用现有最佳实践，例如保护AI工程化管道的安全、构建软件物料清单（SBOM） ，并在设计中集成隐私增强技术，以及实现威胁建模自动化。然而，在应用安全方面，即使是定制的AI应用，也能够受益于更专业的实践，例如AI安全测试 和AI安全态势管理（SPM）。

AI安全测试技术可自动创建和运行对抗性提示，通过评估应用的抗攻击能力来支持AI红队计划。AI安全态势管理将传统的云安全态势管理工具扩展到AI工作负载。如果在开发周期的早期介入，网络安全领导者可以强制执行良好的数据安全治理实践，并与AI团队合作，了解其如何利用合成数据来实现隐私和保密性风险的最小化。开发人员工具也在不断演进，出现了可以自动修复代码漏洞的嵌入式AI助手。

当企业机构专注于短期颠覆时，可能会忽视更为长远的变化。例如，AI技术的滥用可能给其行业带来的副作用。另举一例：应对生物威胁可能需要新形式的安全实践，这就属于网络生物安全的范畴。

3、网络安全领域对AI的期望值达到顶峰

网络安全领域的各个方面都在大肆进行AI宣传------有时被称为"AI洗白（AI washing）"和"AI智能体洗白"。技术提供商正迅速将其宣传语从"网络安全AI助手 "转向"代理型AI"，通过承诺整个工作流的完全自动化，进一步提升了人们的期望值，其中AI安全运营中心（SOC）智能体 正是这股新浪潮的突出代表。然而，所有这些厂商声称的益处仍非常模糊，因为现有解决方案的范围和规模有限，并且其长期价值主张大多未经证实。在这些AI应用中，网络风险管理中的人工智能 正展现出自动化文本处理和加速评估的巨大潜力。这些新兴（但未经证实）的用例给已证明其价值的成熟高级分析技术------例如基于机器学习的异常检测------蒙上了阴影。

4、需要新的防御措施以应对网络犯罪AI

恶意行为者正在利用生成式AI进行社会工程、网络钓鱼和其他类型的欺诈（请参阅How to Respond to the 2025-2026 Threat Landscape）。最具影响力和最成功的AI形式网络犯罪是增强型个性化网络钓鱼模板，包括深度伪造视频和语音。目标个体尚未充分意识到这些攻击技术的高明程度。需要采用包括虚假信息安全防护 在内的新型安全实践，才能应对这些全新威胁，因为仅仅依赖新兴的、未经证实的技术，例如会议解决方案中的深度伪造检测，是远远不够的。

图１：2025年人工智能和网络安全技术成熟度曲线

优先级矩阵

优先级矩阵呈现了每项创新的影响力评级，以及该创新进入主流采用所需的时间。虽然代理型AI预计将在两年内实现主流采用，但大多数AI安全技术进展较慢，愈发凸显出不断增长的攻击面与防御能力之间的差距。如果没有强大的数据治理，这一差距将对数据安全以及满足合规要求的能力产生重大影响。

未来二到五年间，网络安全领导者需要接受AI TRiSM原则，并遵循行业框架，以建立有效的AI网络安全治理基础，利用AI治理平台来管理规模化定制的AI项目。部署更多战术性技术将有助于弥合当前差距。例如，AI使用控制支持对影子AI的细粒度发现，从而增强安全团队培养创新的能力，同时避免不加区别的阻止策略------这可能导致更多、更隐蔽的未经授权的AI使用。

从长远来看，AI技术------例如主权AI、AI模拟或因果AI------对网络安全的影响情况难以评估，这更加突显了持续改进AI素养计划的必要性。随着炒作尘埃落定，生成式AI在网络风险管理和安全运营中的价值将得以巩固，而AI安全测试、安全态势管理和运行时防御等技术的发展，将推动AI安全实现常态化，进一步融入应用全生命周期。技术整合将是必然的结果，但需要对这些技术进行持续研究和创新才能满足人们的期望。

Table 1: 2025年人工智能和网络安全优先级矩阵

| 影响力 | 距离主流采用的时间 ||||

	2年以内	2-5年	5-10年	10年以上
颠覆	代理型AI 复合型AI	AI代码安全助理	网络风险管理中的人工智能	通用人工智能
较高		AI TRiSM AI治理平台合成数据基于机器学习的异常检测威胁建模自动化软件物料清单	AI素养 AI网络安全治理 AI运行时防御模型上下文协议虚假信息安全防护
中等		AI使用控制数据安全治理网络安全预测建模	AI安全态势管理 AI安全测试 AI安全运营中心智能体 AI网关会议解决方案中的深度伪造检测网络安全AI助手	网络生物安全
较低			差分隐私

来源：Gartner （2025年8月）

萌芽期技术

1 、网络生物安全

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**孵化阶段

**定义:**网络生物安全是一门结合了网络安全和生物安全要素的新兴学科，旨在防止合成生物学产品的恶意使用，并确保用于创建此类产品的数字系统的安全。该技术针对以生物技术创新为目标的网络威胁，并为生物信息学基础设施中的漏洞提供保护。

为何重要

生命科学（例如核酸合成）的进步，离不开人工智能（AI）和生物信息学等计算技术。这些系统和创新中的网络安全暴露面可能会被攻击者利用，对企业成损害，并通过影响使用这些技术的患者或这些技术旨在干预的环境来影响化学、生物、放射性和核（CBRN）安全。

业务影响

合成生物学网络安全的主要相关方是生命科学领域的首席信息官（CIO）和首席信息安全官（CISO），特别是从事或涉及应用合成生物学的制药、环境、农业、工业及其他领域的企业机构。此外，负责制定相关活动指导方针和监管规定的政府机构也与网络生物安全密切相关。针对基础设施的攻击和知识产权盗窃的影响，在疫情期间的攻击中表现得尤为明显，但针对合成生物学产品的攻击可能对企业机构、个人和环境造成更严重的影响。

推动因素

AI在合成生物学和其他领域的快速采用，以及人们对AI安全的重视，推动了对旨在提升AI驱动型合成生物学安全性与保障性的相关措施的采用。
该学科与网络安全一样，旨在保护企业机构，以及使用合成生物学产品的个人或环境。企业机构和个人共同面临的威胁包括：

o 通过恶意的合成DNA序列来接管对该序列进行分析的实验室计算机系统，成功实施针对生物信息学基础设施的学术攻击。

o 恶意修改应用于农业或环境用例的工程化生物体。

o 与个人身份识别相关的基因操作；或者，针对已开发和合成的生物学产品及相关成果进行破坏、加密或窃取的更广泛攻击。

政府针对合成核酸序列筛查的监管要求日益严格。
新兴的网络生物安全举措，将网络安全原则应用于合成生物学领域。此类示例包括红队测试、负责任披露、事件响应和打补丁。对混淆核酸序列的讨论，可以从两方面展开：一方面，这是一种隐私保护工具；另一方面，这也可能带来潜在的安全问题，因为可能会阻碍对这些序列的正确筛查。
网络攻击（例如疫情期间针对制药和医疗保健部门研究实验室的攻击）暴露了加强保护的需求。

阻碍因素

人们可能认为网络生物恐怖主义场景不太可能发生或过于遥远，因为执行此类攻击需要高深的知识；除此之外，生物体的传播不受国界限制且能自我维持，可能带来不可预见的后果，因此攻击者也许缺乏足够的动机去执行此类攻击。
新兴监管规定承认网络安全衍生措施（例如软件供应链安全原则）的必要性，需要将其应用于使用AI的合成生物学中。然而，这些指导意见仍然过于宽泛且定义模糊，相关框架也仍在开发中。这使得企业机构难以确定一套清晰的最低限度应对措施。

2 、AI网络安全治理

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**有效的人工智能（AI）治理离不开网络安全治理。AI网络安全治理可确保企业政策和分配的授权应用于AI，将重点放在遵守协调一致的网络安全和风险管理框架，以满足政策、法规及行业标准的要求上，并与道德伦理和可信度管理密切相关。执行AI网络安全治理活动，可使用集中式AI治理平台或一系列专用工具。

为何重要

安全和风险管理（SRM）领导者（例如，首席信息安全官[CISO]）面临的挑战是，跟上第三方AI工具的广泛和快速部署速度，以及定制的AI应用的开发步伐。作为AI治理委员会成员，SRM领导者日益重要的职责之一，是确保适当的监督，以最大限度地减少网络安全风险，例如误用和滥用，以及安全漏洞导致的数据泄漏或侵犯。

业务影响

AI风险和AI网络安全风险之间存在交集，这就要求AI治理委员会成员明确其职权范围和职责。AI网络安全治理框架的目的是：

确保符合网络安全标准（例如，NIST、MITRE、OWASP）
在整个AI生命周期中有效地管理网络安全风险
监督和实施AI网络安全控制

其关键目标是避免"影子AI"、尽可能地减少AI计划带来的攻击面，并在事件发生时确保可见性和响应。

推动因素

随着企业机构将AI计划投入生产，AI团队在风险管理和风险缓解方面面临挑战。SRM领导者必须在项目公开发布前评估其网络安全风险和合规性。不同AI产品------涵盖机器学习（ML）、自然语言处理（NLP）、生成式AI和代理型AI------并未形成统一的风险框架，因此SRM领导者需要根据具体的AI实施情况来识别风险。采用Gartner的AI信任、风险和安全管理（AI TRiSM）等框架，有助于明确可信度、伦理和AI网络安全，从而推动AI治理。
随着AI资金投入的规范化，SRM领导者开始构建AI网络安全治理和控制体系。在AI热潮下，企业机构仍然认可SRM领导者在政策执行、数据安全、隐私和AI相关的网络风险决策方面的专长。SRM领导者可能在初期较少参与AI治理，但由于运营风险管理的需要，其随后必须积极参与并推动政策执行。
根据2025年Gartner AI风险管理与使用网络安全创新调研，52%的CISO在企业机构AI治理委员会中的职责，是定义AI的网络安全风险管理战略和网络安全控制措施。
企业机构通常未能有效执行遏制影子AI（例如未经授权的第三方AI软件即服务[SaaS]的使用）的政策。网络安全在工作流程审批、政策执行和用户培训方面发挥着至关重要的作用，以确保AI的安全使用。SRM领导者负责监督安全的AI开发，重点关注生成式AI应用和智能体的内置安全性和数据保护。
根据2025年Gartner AI风险管理与使用网络安全创新调研，69%的企业机构怀疑或有证据表明，其员工正在使用被禁用的公共生成式AI工具。此外，79%的企业机构报告称，其员工对于企业批准的公共生成式AI工具的使用，不符合企业的合理使用政策（AUP）或AI政策。
AI治理平台正在演进，以支持AI项目设计、集成、测试和部署，但尚未实现全面覆盖。专业的网络安全工具有助于监控模型和应用中的异常，并保护其免受提示注入等攻击。AI治理的权责归属仍然十分混乱，SRM领导者通常缺乏明确职责说明的情况下上任，但却要在发生网络安全泄露时承担责任。
AI治理原则通常缺乏发现、监控和执行功能，阻碍了网络安全控制措施的实施。有效的治理需要跨部门协作，由SRM领导者为法务、合规、风险管理和承担AI网络风险的业务单元提供支持。厂商以"AI治理"作为营销策略，但提供的网络安全功能有限，导致产品名不副实。

阻碍因素

AI治理相关部门（例如，法务、网络安全、数据、IT）的权责归属混乱。SRM领导者通常缺乏明确职责说明的情况下上任，但却要在发生网络安全泄露时承担责任。
企业机构制定的AI治理原则缺乏强大的发现、监控和执行能力，限制了网络安全团队实施控制措施和执行政策的能力。
有效的AI治理需要大量跨部门协作，由SRM领导者为法务、合规、风险管理和其他承担AI网络风险的部门提供支持。
厂商以"AI治理"作为营销策略，但提供的网络安全功能有限。其他产品则混杂了网络安全和AI安全功能，让买家感到困惑，并且收到的产品名不副实，无法兑现卖家承诺。

3 、会议解决方案中的深度伪造检测

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率低于1%

**成熟度:**发展阶段

**定义:**攻击者在Cisco Webex、Google Meet、Microsoft Teams或Zoom等企业会议解决方案平台上的通话中，使用合成/深度伪造的音频或视频内容，针对员工实施攻击。为应对此类攻击，可在通话中使用实时深度伪造检测解决方案，以分析音频和/或视频内容，并提醒参与者可能发生的攻击。

为何重要

攻击者现在可以轻松创建深度伪造内容，仅需几分钟的参考音频即可创建目标人物的深度伪造语音。冒充目标人物创建令人信服的深度伪造视频虽然更为复杂，但仍可实现。攻击者利用深度伪造内容结合社会工程，假冒企业机构高管呼叫员工，诱骗员工执行恶意行为或破坏账户恢复工作流程。他们还会参加董事会会议，以进行工业间谍活动。

业务影响

事实证明，深度伪造技术对企业机构造成了威胁。2024年，一家全球公司被骗取2500万美元，原因是攻击者假冒了该公司首席财务官的形象。根据报告，已发生多起攻击者使用此类技术诱骗员工进行大额资金转移的案例，上述案例只是其中之一。防御此类攻击在很大程度上依赖于人为因素------当员工认为自己正在与高管交流时，就很容易受到社会工程的影响。其他案例包括攻击IT服务台以破坏账户恢复工作流，或冒充高管加入董事会电话会议以窃取敏感信息。

推动因素

用于创建深度伪造音频和视频的工具，其使用门槛持续下降。
社会工程作为一种攻击向量，是一种高效的漏洞利用手段，并且仍然缺乏简单的解决方案来应对。在针对企业机构的攻击中，社会工程的使用持续增加，给企业的网络安全带来持续风险。
企业会议解决方案平台，例如Cisco Webex、Google Meet、Microsoft Teams或Zoom，并不提供原生集成的深度伪造检测。
越来越多初创厂商开发的产品，允许机器人像普通参会者一样加入企业会议平台的通话中，以获取会议中的音频和视频流。这些产品可对会议中出现的深度伪造音频或视频内容提供实时告警。

阻碍因素

该技术尚未得到大规模验证。该领域的厂商均处于起步阶段，许多仍在寻求融资，而另一些则正在与设计伙伴合作进行概念验证（POC）。
威胁的规模仍未量化。虽然媒体报道了一些备受瞩目的攻击，但没有数据揭示对于企业机构来说该问题的确切普遍程度。这使得安全领导者在面对相互竞争的有限任务时，难以证明对该技术进行投资的合理性。
在实施深度伪造检测解决方案时，如果没有对员工进行明确的补救指导，员工在收到深度伪造告警或尝试进行不当验证时，会选择退出通话，可能会给企业带来大规模运营中断的风险，而不可避免的误报会使这一问题变得更加严重。
当前的解决方案无法保护所有平台。尽管企业会议解决方案平台能够得到保护，但攻击者仍然可以通过WhatsApp、FaceTime甚至直接拨打电话的方式联系员工。因此，其他层面的防护措施仍然不可或缺。

4 、虚假信息安全防护

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**虚假信息安全防护是一套技术和战略的组合，用于处理虚假且具有误导性的内容和叙述，以帮助企业机构辨别可信信息、保护自身品牌及其网络运营安全。此类别的能力，除了基于反叙事和信息真实性验证的缓解策略之外，还涵盖深度伪造检测、冒充预防、声誉保护和叙事智能。

为何重要

虚假信息使用省略或恶意篡改关键上下文的伪造信息来欺骗或误导受众。恶意行为者以企业机构为目标，操纵买家、左右政治舆论、削弱品牌价值、压低股价和实施欺诈。现在，可制造虚假内容并将其广泛传播的工具唾手可得。虚假信息安全防护通过整合多种技术，构建了信任辨别方法论，以应对这些威胁。

业务影响

虚假信息可能成为攻击某个企业机构或领导者个人的武器。通过损害或扭曲品牌形象，实施影响品牌声誉的营销活动，进而导致收入损失。针对性的虚假信息攻击也可用于实施以特定企业机构为目标的的欺诈行为。虚假信息会影响到多个业务职能和团队，包括高管层、安全、公共关系、营销、财务和销售；因此，虚假信息安全防护是企业机构安全战略的重要组成部分。

推动因素

外部威胁实施者为实现意识形态目的，传播关于企业机构的虚假信息，作为网络攻击的一部分，并实施欺诈。
对抗性人工智能（AI）取得飞速发展和进步，逐渐提高了辨别多媒体内容合理性的难度。
社交媒体充斥着各类包含虚假信息的深度伪造视频。大语言模型结合生成式AI的语音克隆技术，可以快速生成具有说服力的虚假信息内容，而且这些内容能以几乎任何人的声音"说出"。
通过机器人社交媒体账户网络大规模散布虚假信息，以及大规模定制交付的能力，进一步加剧了威胁。
安全团队逐渐认识到，主动防御需要放眼企业机构公有和私有基础设施之外。许多虚假信息攻击都是通过不受企业机构管理的基础设施进行的；由于攻击发起位置的原因，主动防御、删除工作以及法律团队响应工作的复杂性增加。
营销和公关团队认识到，必须充分理解与企业机构产品、服务、品牌和高管相关的舆情。
企业机构需要数字水印、内容验证和可证明的媒体系统，以快速和准确地区分合法内容与被篡改和由生成式AI创建的内容。
企业机构需要时刻清楚地了解其线上交流的对象，包括在招聘过程中，精准识别应聘者、员工、承包商、商户和客户身份。
受管制行业中的企业机构必须遵守"客户身份审核" （KYC）要求。使用生成式AI生成的内容滥用身份验证过程，可能会使企业机构面临严重的监管制裁。
账户接管和凭证泄露是许多企业机构的主要安全顾虑。攻击向量多种多样，包括利用生成式AI生成的内容骗过语音或面部生物识别认证，或者以欺骗方式，绕过账户恢复工作流中使用的身份验证过程。一旦通过用户认证，不良行为者就可以采取恶意行为，如植入勒索软件、窃取知识产权、盗窃资金和传播虚假信息。

阻碍因素

许多企业机构依然在努力理解和量化虚假信息带来的风险。制定主动安全计划仍是该市场的一个新兴趋势。
防御虚假信息的技术正在涌现；但是，热度渐增的市场炒作可能会对企业机构的战略制定造成干扰，增加混乱和复杂性。
用于主动标记和识别互联网上生成式AI创建内容的新兴标准，如内容溯源与真实性联盟（C2PA）标准，尚处于最终确定阶段。可信任的稳健实施需要时间。
新技术前景广阔，然而在对抗不断演变的复杂对手方面，其成熟度和有效性仍有待观察。许多新出现的解决方案仍然仅针对特定用例。
主动安全防御需要着眼于自身范围之外制定有效的防御战略；对于这一点，一些企业机构尚不理解。
检测发生虚假信息攻击的领域（例如在语音或视频呼叫应用中实时假冒企业机构高管）是一项技术挑战，因为许多平台都是"围墙花园"环境。

5 、AI治理平台

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**AI治理平台为企业中的AI应用、智能体及每个独特用例提供统一视图。它能够根据既定的政策、法规和行业标准等框架，对AI的表现进行评估。除了作为用例的集中存储库，平台还整合风险管理活动，自动执行新用例的流程审批，在关键环节实施必要的技术措施，并通过一个持续运行的统一工具对这些AI关键要素进行管理。

为何重要

AI正在快速普及。尽管AI安全部署需要多领域的专业知识，AI领导者仍越来越多地被赋予AI监管的职责。监管需要根据预设标准，确保AI的合理使用和价值实现。AI治理平台作为一个独立的新兴市场，正在将传统的治理、风险与合规产品功能，与关键治理规则的自动化和执行相结合，以验证AI的安全性、价值和预期表现。

业务影响

Gartner观察发现，AI治理正趋于集中化，尽管企业机构的具体做法可能不同。为响应这一需求，并解决AI部署过程中的治理、风险管理和合规要求，AI治理平台逐渐兴起。AI治理平台能够显著提升运营效率，有效促进跨部门利益相关者的协作，并在运行时执行相关政策，为企业成功实现AI的规模化应用提供助力。

推动因素

AI日益普及，对透明度和问责制的需求日益突出，凸显了强化AI治理的必要性。
全球范围内直接或间接针对AI相关问题（如偏见、安全、可靠性、伦理风险，以及透明度和问责机制缺失）的法规不断出台，增加了合规的复杂性。要实现企业规模化运营，必须建立统一视图，通过审批、验证、审计和可观测性等手段，实现技术管控和监督。
企业机构通常为AI应用制定了治理原则和政策，但在实际生产环境中，这些政策往往没有得到充分的监控和执行。
为有效监管AI并实现规模化部署，AI治理需要依靠技术手段来实施各类治理控制，确保企业新的AI要求能够被贯彻和执行。
AI治理的成功依赖于来自多个专业领域的知识和协作（包括法务、合规、风险管理、网络安全、IT和数据分析等），需要建立共同目标、分类体系和治理框架。然而，受制于各部门优先级不同，这一目标难以实现，降低了治理效果并增加了风险。
企业机构已在产品层面进行安全评估，并将持续进行，但这还远远不够。必须对每一个由AI赋能的功能和用例单独进行AI评估。
利益相关方对信任的要求不断提升。企业机构通过制定高层次的负责任AI原则和AI合理使用政策，增强外部对其产品、服务及整体品牌的信心。
企业AI应用不断扩展，涵盖机器学习、计算机视觉、大语言模型等多种AI模型，并带来新的风险。企业需要一个平台，能够全面展示企业AI资产组合、决策记录与问责、风险及其缓解措施，以及可靠的性能表现。

阻碍因素

关于谁应负责AI治理（如法务、网络安全、数据与分析、IT等），仍存在分歧和困惑。
AI治理团队在部分运营政策上会与数据与分析、IT治理、MLOps和网络安全团队存在重叠，但并非全部政策都涉及。企业机构需要明确各团队的职责边界，同时为AI治理这一新职能预留空间。
AI应用场景和业务优先级千差万别，企业机构在选择治理工具时，需要权衡是使用单一平台还是多工具组合，以实现最适合自身的治理效果。
市场对AI治理相关能力了解不足，部分厂商将"AI治理"作为一种市场推广策略，导致客户难以辨别产品真实能力，出现产品过度承诺、难以兑现的情况。
全球监管和标准差异巨大------尽管合规所需的管控措施类似，但期望的结果可能截然相反。
技术进步迅速，使得部分功能不再适用，同时也催生了新需求，而这些新功能的开发往往滞后于技术发展的步伐。

6 、模型上下文协议

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率低于1%

**成熟度:**发展阶段

**定义:**模型上下文协议（MCP）是一个新兴标准，旨在实现人工智能（AI）模型和其他应用与数据源之间的双向通信。在为应用与大型语言模型（LLM）共享上下文信息，以及向AI系统开放工具和功能方面，MCP提供了一种标准化方式。

为何重要

MCP由Anthropic于2024年11月发布，已被包括亚马逊云服务（AWS）和微软在内的多家供应商采用。通过简化与信息源和功能的连接，MCP可以支持基于LLM的AI应用开发。此前，这一过程颇具挑战性，通常需要编写自定义代码或使用并非专门为AI设计的应用编程接口（API）。MCP定义了在AI工作流中访问外部数据和工具的标准方式，从而提高了一致性和互操作性。

业务影响

MCP有助于构建更具上下文感知能力的AI系统，使AI模型能够以标准化的方式，访问具有上下文相关性的最新多模态数据和多结构分析，从而减少集成工作量。然而，MCP也带来了额外的安全担忧，以及关于采用这一技术的战略性问题。未来可能会出现在开放性和安全性方面更具优势的标准，届时MCP将黯然失色。

推动因素

MCP扩展了基于大语言模型（LLM）的AI应用和智能体的能力范围，并简化了其实施与维护过程。这是因为，这一技术无需重新训练模型或大幅修改核心系统就能更轻松地接入新的数据源或工具，从而提高了AI解决方案的灵活性和敏捷性。
对于开发基于LLM的AI应用和智能体的开发人员而言，由于连接数据源和工具的过程变得更加简便， MCP提高了其生产力和效率。开发人员可以使用MCP与多个不同系统集成，无需依赖系统特定的专用方法和工具，从而降低了集成的成本和时间。
AI服务提供商以及众多应用、分析、决策智能和中间件供应商，正开始在其应用中提供基于MCP定义的预构建集成接口以及支持MCP的工具。这进一步推动了MCP社区的采用和生态系统的发展，也简化了其落地过程。通过复用预定义的MCP接口，团队可以在无需重新构建MCP接口或自定义集成点的情况下，快速支持新的使用场景，实现更高的价值和更快的创新。

阻碍因素

MCP带来了新的安全风险，尤其是在数据和工具的授权方面，引发了数据隐私和安全性方面的担忧。确保机密信息受到保护并对访问进行适当控制至关重要。
许多企业机构已经在其AI平台架构中注册了工具和资源。AIXplain、Boomi AI Studio、Crew.AI、Langchain和SnapLogic等AI开发工具，已经提供了资源注册机制，以便由LLM驱动的AI应用和智能体能够访问这些资源。
MCP服务器的实施可能很复杂，尤其是在面对遗留系统或多样化技术栈时；同时，这也可能导致架构和治理效果不佳。将MCP集成到现有基础设施中，可能需要大量的投入和专业知识。
MCP仍属新兴标准，发展迅速，且向后兼容性有限。早期采用者可能会面临持续调整以跟进最新标准版本的挑战。

7 、网络风险管理中的人工智能

**影响力评级:**颠覆

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**发展阶段

**定义:**网络风险管理中的人工智能（AI）可分析数据并为实时决策提供预测性分析洞察，从而优化流程。该技术可通过自动化合规验证和问题检测来增强控制实施、识别不足并扩展风险监控。

为何重要

网络风险管理工具中的AI功能可用于：

支持自动化和流程增强
确定网络安全控制方面的不足之处
诠释控制实施声明
创建策略草稿
映射控制
支持聊天机器人
收集和分析网络风险数据，用于洞察和决策

供应商和率先采用者的日益重视，加快了上述AI功能的成熟。采用这些工具的企业机构可以显著提高流程效率，加强网络安全防御，并更好地应对错综复杂且不断演变的网络风险环境。

业务影响

AI可简化网络风险管理流程（如评估、合规报告和事件响应），从而提高效率，减少人工干预的需要，节约时间和资源。
AI算法通过分析网络流量、用户行为和系统漏洞等多种数据源，综合评估网络风险。这种整体方法使企业机构能够有效地确定风险并排定其优先级，从而优化资源分配和决策流程。
85%的企业机构目前正在或计划将生成式AI用于一系列网络安全用例中。这些用例包括威胁狩猎和/或威胁建模、事件响应报告和根因分析、用户行为分析、漏洞检测和修复，以及代码分析。

推动因素

AI算法擅长处理和分析海量数据集，正受到需要其能力来提取洞察和识别网络威胁模式的企业机构的关注。主要用例包括：

根据控制要求和风险偏好，自动对现有网络安全控制进行识别和分类。
对照行业标准或法规要求，全面分析策略控制的不足和不一致之处，同时提出补救措施建议。
持续识别网络风险动态，包括进行模拟以了解对企业机构环境的潜在影响。
评估网络风险和确定其优先级，同时提供标准化的缓解措施最佳实践建议。
持续监控内部合规性，以确保与现有且不断演变的法规保持一致。
根据角色动态地定制策略要求，并且根据不断变化的法规、行业标准以及与业务相关的新兴威胁更新网络安全策略。
利用自然语言处理技术对业务资料进行分析，以确保网络安全措施与业务目标相符，并且策略具有明确的责任归属、控制描述和关系说明。
制定战略性的网络安全计划。利用预测性分析技术来分析外部行业趋势和内部历史数据以及风险评估结果，从而预测未来风险，并且创建网络安全改进路线图。
通过预测分析进行网络安全预算的战略预测，利用新兴威胁数据、企业机构数据和行业趋势数据来预测未来风险，并提出下一步最优行动和最优网络安全投资方案。
创建动态的定制化高管仪表板，提供对企业机构网络安全态势的实施洞察。

阻碍因素

许多企业机构对于与网络风险管理相关的AI技术缺乏基本了解。
AI算法依赖于高质量数据。许多企业机构难以解决数据质量问题。访问用于AI模型训练的数据源也颇具挑战性，特别是在数据流受到更严格限制的受监管行业或环境中。AI驱动的网络风险管理解决方案通常要求访问敏感数据，如网络日志、用户行为模式和网络安全事件报告，这涉及到隐私和安全问题。
风险决策者和网络风险团队受不准确或非预期输出结果的影响而犹豫不决，难以信任和进一步采用这些技术。
成本是一个障碍，对于IT能力有限的中小型企业来说尤为如此。
企业文化可能阻碍AI的采用。员工可能抵制新技术，担心工作岗位被替代或现有工作流程发生改变。

8 、AI安全态势管理

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**AI安全态势管理（AI SPM）工具可帮助企业扫描其基础设施，以发现部署的人工智能（AI）模型、助手和智能体，以及相关的数据管道，并评估企业AI基础设施在暴露于数据存储和处理工作负载时所产生的风险。

为何重要

当企业部署的AI基础设施未被知晓、未经批准、存在配置错误或已知漏洞时，就会出现数据风险。AI SPM工具可用于发现所有使用数据（包括公共和私有数据）的AI模型，评估基础设施的暴露面，确定发现结果的风险优先级，并帮助实施补救。更先进的工具能够扩展数据分析，覆盖整个数据管道，以识别因不当训练、管道目标、提示操作,以及未经授权访问而导致的风险。

业务影响

业务团队正在全速推进AI部署。网络安全领导者需要支持这种快速采用，同时帮助确保企业数据资产不会因未知和未经授权的AI使用而被意外暴露或置于风险之中。AI基础设施配置不正确、模型存在漏洞或访问权限过大，都会使企业数据处于风险之中，并带来合规、竞争优势、声誉和人身安全方面的风险。

推动因素

AI模型和助手在企业基础设施中的部署日益增多，但企业对其配置、权限、暴露面或正在使用的数据缺乏评估或了解，这就带来了对专注于AI/生成式AI的安全态势管理能力的需求。
一些AI模型在IT控制范围之外部署，因此需要具备发现能力来识别未知或不合规的模型数据使用情况。
未受管控的训练过程，可能导致许多数据存储库暴露给AI模型。因此，企业需要将模型所使用的数据管道分散到不同的云实例中，并对后续为相关助手和提示操作分配的访问权限进行映射。
亟需对模型中使用的数据的机密性和商业敏感性进行评估，以防止不合规使用、隐私泄露、投毒风险和安全泄露。
AI SPM产品可帮助企业机构回答以下问题："企业正在使用哪些AI模型？这些模型是否带来了未知或不可接受的数据风险？"

阻碍因素

AI SPM能力正在与云安全态势管理（CSPM）和数据安全态势管理（DSPM）市场中的能力融合，使得工具之间的比较和评估变得困难。
实现AI SPM的全部优势需要业务、数据和分析、法务、网络安全领导者之间的合作，以协调多学科的治理方法。
AI SPM产品难以为市面上数量庞大且快速变化的所有AI模型提供支持，也几乎不具备评估企业内部开发的模型或开源模型的配置是否正确，或是否存在漏洞的能力。
AI SPM产品在评估企业内部已批准的AI使用和未授权的AI使用方面，也面临挑战。
软件即服务（SaaS）应用中，用于模型创建的数据的可见性是一个挑战，因为有数万个SaaS应用需要通过应用编程接口（API）进行集成。
AI SPM评估所有数据特征（包括质量、生命周期、目的、驻留、主权和机密性）的能力仍然十分有限，且缺乏一致性。

9 、AI安全测试

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**AI安全测试（AI-ST）可发现人工智能（AI）赋能的系统和应用中的漏洞和暴露面，为AI应用提供专业评估，包括自动生成和执行对抗性提示等攻击性战术，以及对模型存储库、库、框架和Notebook等AI组件进行扫描。AI-ST可以独立运行，也可以作为包含运行时控制的AI安全平台的组成部分。

为何重要

许多企业机构已经构建了包括聊天机器人在内的定制AI应用，现在正在考虑构建AI智能体。此类AI应用中包含模型，导致攻击面扩大，尤其是大语言模型等概率模型带来了提示注入等新风险。此外，这些应用利用新兴且成熟度较低的工具和环境进行快速开发，这也增加了漏洞风险。AI安全测试能够在开发周期的早期阶段就识别出这些漏洞。

业务影响

业务、IT和网络安全利益相关者需要一种方法来评估AI系统抵抗攻击的韧性，最好是在将系统投入生产环境之前执行。对于面向公众的AI应用（包括智能体）来说，这尤为重要。现有应用安全工具仍在发展中，尚不具备专门针对AI进行检测的功能，包括对抗性提示或模型反演技术。

推动因素

随着企业机构将AI应用从试点转变为生产，由于缺乏适应自然语言输入和输出的新型测试方法，这些应用面临独特的风险。这突显了对全面的AI风险评估和增强的测试流程的需求。
生成式AI应用正在推动大量创新，但由于其处理输入和生成输出的方式是概率性的，因此存在特定的风险。这些应用的数据泄漏、提示注入和受损输出风险更高。
企业机构利益相关者需要对其聊天机器人和目标驱动型AI智能体抵抗攻击和滥用的能力进行评估。
安全团队正在寻求能够自动进行测试的方法，部分是因为AI应用的迅速发展要求频繁复测。
许多AI应用利用商业或开放权重AI模型，这些模型存储在专门的存储库中，包含各种文件格式和元数据。配置错误以及模型和元数据篡改都会显著改变应用的行为。
全球法规和流行框架（例如美国国家标准与技术研究院[NIST]发布的人工智能风险管理框架[RMF]）推动了对特定AI测试实践的需求。

阻碍因素

企业机构可能无法对其AI模型（特别是本地下载模型）拥有全面的可见性并进行管理，从而限制了企业大规模实施AI安全测试的能力。
由于涉及多个团队，并且其中的一些团队不属于传统的应用开发团队，AI安全测试的职责通常不明确。这可能导致AI应用在没有经过适当的应用安全测试的情况下被创建并投入预生产。
AI应用及其所遭受攻击的非确定性本质，使AI安全测试产品的评估和基准制定变得复杂，导致负责AI应用安全的安全团队在定义成功的测试结果方面面临挑战。
大多数AI安全测试提供商都是初创企业，缺乏可见性和可靠的业绩记录，导致用户难以对其所提供的测试的质量和全面性建立信心。
并非所有提供商都能提供全面的AI安全测试功能。许多提供商仅提供攻击性安全测试。
测试并非一次性活动，但AI安全测试技术很少提供成熟的复测或结果分析指导。

10 、AI使用控制

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**AI使用控制（AI-UC）技术旨在识别第三方人工智能（AI）的使用并执行企业机构安全策略。其能力包括发现以"即服务"方式使用，或者安装和嵌入应用中的第三方AI，并对其进行分类。AI-UC可定义并执行使用策略、检查敏感数据的内容、评估风险，并针对异常发出告警。其主要交付形式为云服务，可能包含多个本地检查点。

为何重要

现有的安全控制通常只侧重于发现少数几种AI使用方向：Web、应用编程接口（API）、应用或源代码。目前，许多发现工具都将AI应用视为其他应用，忽略了AI在企业机构环境中的独特风险和集成。AI使用控制提供细粒度分类和基于意图的策略，以实现第三方应用的安全采用，同时缓解安全风险。

业务影响

企业机构继续通过使用已批准或影子AI的方式，快速采用第三方AI。在某些情况下，第三方会在企业机构并不知情或未经企业机构同意的情况下，在下一次更新时将AI添加到现有产品中。AI采用的速度往往超过企业机构监控、治理和控制使用的能力发展速度，极大增加了数据泄漏的风险。

此外，一些AI应用的风险尤为突出------AI厂商的产品可能会导致用户提供的提示和基础数据面临风险；或者，工作产品中使用的生成式AI，其输出可能会给企业带来新的风险。关注此问题的首席信息安全官（CISO）必须了解AI及其使用所带来的风险暴露面。

推动因素

用于保护第三方AI的AI信任、风险和安全管理（TRiSM）安全工具通常缺乏全面的发现能力；因此，在增加额外控制措施之前，企业机构需要通过AI使用控制功能来弥补现有第三方AI使用的盲点。
风险评估是第三方AI使用治理的首要要求，但目前没有标准方法来执行这一评估。AI-UC为企业机构创建了一个框架，针对已发现的第三方AI建立标准风险评估和风险排名。
数据泄漏、滥用，以及AI应用生成不准确内容的潜在后果，都会导致风险增加；因此，安全团队希望建立治理机制，对最新AI应用的访问实施控制和授权。AI-UC技术提供了一种执行企业机构使用政策的方法，推动实现AI的更安全采用。
由于第三方AI的训练模型中包含数据，因此很容易发生数据泄漏。人们对此问题的担心日益加剧，由此产生了对泄漏到AI应用的敏感数据的更多可见性和控制需求。

阻碍因素

由于员工使用的AI工具数量巨大且种类繁多，安全团队不堪重负，导致AI使用控制技术仅被用于工具发现和风险评级，无法发挥该技术的最大价值。针对数千个应用中进行颗粒度级别的控制难度颇高。
企业机构未优先分配预算来采购专门的AI使用控制工具，或者认为现有安全工具提供的一定程度的可见性已经够用。
大多数AI-UC厂商会部署至少一个检查点，例如浏览器扩展或与现有Web代理或端点技术的集成。不同厂商的能力各不相同，并非所有厂商目前都能发现或控制所有影子AI的使用，例如软件即服务（SaaS）连接、桌面或API使用。
安全团队以外的部门对AI的效益抱有较高期望，可能会对安全团队阻止使用的做法产生抵触------即使该AI被划入"存在风险"的类别。当员工已经在使用第三方AI应用时，非安全领导者的抵触尤为强烈。
AI-UC技术提供的基于意图的政策，采用的是概率方法（小语言模型或大语言模型），但这种方法自身也会带来与不准确性相关的问题。
AI使用控制旨在发现企业基础设施中的影子AI使用，对于员工或第三方在企业机构基础设施之外向AI提交敏感数据的用例，并不会进行检测或控制。

11 、AI网关

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**孵化阶段

**定义:**AI网关，也称为大语言模型（LLM）路由器或多LLM网关，用于管理和保护与人工智能（AI）服务提供商之间的连接。由于表述性状态转移应用程序接口（REST API）是连接AI提供商的主要方式，因此一些AI网关基于已有的API网关产品构建，而另一些则是专为AI场景定制开发的。AI网关可为企业的AI使用提供安全措施，例如保护AI提供商签发的API密钥、多LLM路由、成本可视化和数据隐私扫描。

为何重要

通过提供安全性、治理能力、可观测性和成本管理，AI网关可以管理应用与AI模型之间的交互。这有助于降低AI服务提供商带来的意外成本风险，并防止API流量中的私密数据被泄露或滥用。AI网关还可以帮助企业机构管理不同服务商的多个AI模型的使用，而不必将资源集中在某一家服务商上。

业务影响

随着生成式AI及其他类型AI项目的规模和数量不断增长，企业也需要更好地控制对AI供应商的使用。AI网关提供企业机构及其AI提供商之间的运行时流量管理，还可用于实施和管理基于提示的策略控制、跟踪AI服务的使用情况和成本、在多个LLM之间进行路由，以及管理对AI订阅服务的访问，包括保护由AI服务商签发的API密钥。

推动因素

**控制访问成本：**AI服务的定价模型往往基于token，这给企业带来了风险，因为使用这些服务可能导致成本迅速累积，并且需要特殊的计量能力，而API网关通常基于交易计量，对此无能为力。各企业希望控制访问成本，而AI网关则可通过对响应进行缓存来减少重复调用，同时跟踪和控制服务访问，从而实现成本优化。
实现AI服务使用情况的可视化：AI网关利用API管理的可观测性和API使用分析功能，对整个企业范围内的AI API使用情况提供更高的可见性。
**优化对AI引擎的访问：**AI网关可配置为在多个不同AI供应商（如多个LLM）前端提供单一API接口，这样开发人员就可以使用相同的API访问多个AI服务。
**在AI交互中实施安全措施：**AI信任、风险和安全管理（AI TRiSM）意在确保AI模型的治理、可信度、公平性、可靠性、稳健性、有效性和数据保护。AI网关可应对AI TRiSM方面的一些问题，包括模型治理和可靠性，特别是保护AI提供商签发的API密钥------这点十分重要，因为如果攻击者获得了企业机构AI提供商API密钥的访问权限，就可以访问私有数据，从而产生巨额使用费。AI网关可用于保护AI提供商签发的API密钥。

阻碍因素

AI网关仍属于新兴技术，大部分仍未经验证，而快速演进的AI环境中又不断涌现新的需求，例如对模型上下文协议（MCP）端点的管理能力。在确定供应商之前，必须对其进行全面评估。
延迟是所有中间层系统都需关注的问题，尤其在AI场景中，终端用户可能会明显感知响应时间的延迟。与传统API延迟不同，这里的关键指标是"首Token延迟"（time-to-first token）和"每秒Token数"（token吞吐量）。AI网关有助于用户优化这两个指标。
如果AI网关部署时未设置冗余机制，单点故障也将成为潜在风险。
对AI API响应结果进行缓存通常效果不佳且实现复杂，因为不同的AI模型可能会使用不同的提示词。判断不同的自然语言请求是否是在询问相同的信息并不容易，尤其是在上下文非常庞大的情况下。

12 、AI代码安全助理

**影响力评级:**颠覆

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**成型阶段

**定义:**人工智能（AI）代码安全助理（ACSA）是帮助开发人员识别和修复代码中的安全漏洞的技术。ACSA提供自动修正建议，并使用AI形式（如生成式AI）直接提供代码辅助或聊天机器人，以完成这一工作。ACSA主要作为应用安全测试（AST）产品的功能提供，并使用云服务来分析代码和提出建议。

为何重要

开发人员未受过相关培训，无法识别和解决其代码中的安全问题。因此，建议为开发人员提供针对应用安全程序的代码培训，而AI代码助理可以使学习事半功倍。经过适当训练后，AST厂商提供的大语言模型（LLM）能够交付更安全的代码。开发人员在安全环境中获得有效答案时，可以编写出更好的安全代码；LLM和ACSA则能够提供更具可扩展性、以安全为中心的代码建议。

业务影响

ASCA历经发展，已经摆脱了一般性AI代码助理的形象，能通过提供即时（JIT）解决方案来解决应用安全测试工具所发现的特定安全问题。
与大多数工具不同，ASCA具备得天独厚的优势来同时优化多个变量（例如，安全和代码质量）。
ASCA是新一代工具，用于填补在现代安全软件开发生命周期（SDLC）中留下的安全转变方面的剩余缺口：即时训练和安全补救。

推动因素

AI助手（例如GitHub Copilot或Google Vertex）正日益受到开发人员的欢迎，可在代码的多个领域（包括安全编码以及生产环境的基础设施和运营）中交付有用的结果。
左移举措（即，将工作从运行时环境[右侧]移到开发人员[左侧]一端）往往迟迟未被采纳或完全失败，原因是向开发人员提供扎实的安全指导所需的渠道有限且脆弱。这些举措通常依靠专家来进行内部指导。ASCA提供了在企业机构中多个层级添加虚拟专家的机会，开发人员可以轻松地使用。
应用安全测试供应商传统上为应用安全提供工具，提供代码安全助理的历史已超过十年，并能够访问其工具生成的核心安全编码数据。将此类数据作为训练语料库，并与基础模型结合成ASCA，是合乎逻辑的下一步。
开发人员认为，ASCA将提供可靠的安全建议。2025年Gartner软件工程调研（n=300）发现，69%的开发人员对ASCA工具表示高度或中等程度的信心。这一高比例令人惊讶。

阻碍因素

大多数企业机构都担心AI助手会窃取其专有的数据或知识产权。目前已有方法防止这种情况，但企业机构对这些方法的信任度很低。
生成式AI偶尔会出现幻觉，找出不真实或错误的问题，或者给出听起来似乎合理但实际上不安全或不宜使用的解释。这种幻觉很难被察觉，对初级开发人员而言尤为如此。
代码所有权问题令人担忧，特别是在ASCA贡献了大量代码的情况下。由于AI助手通常使用其所受训练的代码，而不是创建原始代码，因此可能会意外获取其他企业机构的知识产权，这也是一个问题。
ACSA是优化工具的一个代表。这些优化工具过去之所以失败，是因为过度补偿安全性而忽略了性能、可靠性和代码质量等问题。

13 、复合型AI

**影响力评级:**颠覆

**市场渗透率:**目标受众覆盖率为20%~50%

**成熟度:**主流采用起步阶段

**定义:**复合型人工智能（AI），又称混合型AI，是指组合利用（或融合）多种AI技术来提高学习效率，并生成层次更丰富的知识表示。这一方法扩展了AI的抽象机制，并最终提供了一个能够有效解决更广泛业务问题的平台。

为何重要

复合型AI背后的逻辑是，没有任何一种AI技术可以解决所有问题。复合型AI将"连接主义"方法（如机器学习和深度学习）与"符号主义"及其他AI方法（如基于规则和逻辑的推理、图分析或优化技术）相结合，旨在使AI解决方案具备泛化和学习能力，并拥有更丰富的抽象机制。复合型AI在生成式人工智能（GenAI）、决策智能（DI）平台和代理型AI市场中发挥着核心作用。

业务影响

复合型AI将AI的力量赋予更广泛的企业机构------许多企业机构拥有深厚的人类专业知识，但无法访问大量历史或经过标注的数据。这一方法有助于扩大AI应用的范围，提升此类应用的质量，使其能够应对更多类型的推理挑战。其他优势包括提高可解释性、内在韧性，以及支持增强智能。新一波的生成式AI实施将高度依赖复合型AI。

推动因素

随着AI在决策中的应用不断增加，企业机构越来越趋向于采用复合型AI。通过组合利用基于规则的模型和优化模型，实现规范性分析，从而确定最佳行动方案。
缺少大规模数据集或者充足的可用数据，促使企业机构组合利用多种AI技术。企业已开始利用知识图谱、生成性对抗网络（GAN）等AI技术生成合成数据，来解决原始历史数据稀缺的问题。
相较于完全依赖启发式方法或者简单"数据驱动"方法，组合利用多种AI技术可以实现更好的效果。基于规则和逻辑的技术可以与深度学习模型相结合。人类专家制定的规则或物理/工程模型分析，可以通过特定传感器读数识别资产操作效率低下的情况。
计算机视觉和自然语言处理（NLP）解决方案可以对图像中的人或物体进行识别和分类，并通过丰富或生成图谱来表示实体及其关系。
决策智能平台和基于AI智能体的系统的兴起，将推动多种AI技术的高效融合，使复合型AI（在某些情况下是神经符号技术）成为一种事实上的AI开发方法。
多智能体系统的发展进一步增强了复合型AI的能力。复合型AI解决方案可以包含多个智能体，每个智能体代表生态系统中的一个参与者。将这些智能体组成一个"群集"，有助于建立共同态势感知、优化整体规划、实现响应式调度和提升流程韧性。
生成式AI推动了相关工件、流程和协作技术的开发，加速了复合型AI模型的研究和采用步伐，为打造决策智能平台奠定了坚实的基础。

阻碍因素

**缺乏利用多种AI方法的意识和技能：**这可能会阻碍中国企业机构探索和使用合适的技术解决方案来处理特定类型的问题。
**模型运营（ModelOps）部署：**ModelOps领域涉及多种AI模型（如优化模型、机器学习模型、规则模型和图模型）的实施，是一门依赖于主观判断的艺术，而非基于既定原则的科学。为有效管理复合型AI环境，必须采用稳健的ModelOps方法，并与开发运营（DevOps）、数据运营（DataOps）等领域相协调。
**信任和风险壁垒：**AI工程化学科开始成形，但只有成熟的企业机构成功将其应用到了AI技术运营中。此外，组合利用多种AI技术还需要解决安全、模型行为伦理、可观测性、模型自主性、变革管理等一系列问题。

14 、通用人工智能

**影响力评级:**颠覆

**市场渗透率:**目标受众覆盖率低于1%

**成熟度:**孵化阶段

**定义:**通用人工智能（AGI）是指一种（目前尚属假设的）机器能力，能够在所有认知任务上达到甚至超过人类的能力。此外，通用人工智能具有自主学习和适应能力，能够在多种物理和虚拟环境下实现目标，无论这些目标是预先设定的还是新出现的。

为何重要

随着AI技术日益成熟，特别是生成式AI和代理型AI方面的最新进展，越来越多的AI专家缩短了对通用人工智能实现时间表的预测，甚至认为该技术已不再只是理论上的假设。制定一个清晰、统一的通用人工智能定义，对于实现基于证据的治理和设定合理的预期至关重要。通用人工智能的实现将成为一个变革性转折点，并对生产力、就业、地缘政治力量、法律、伦理和文化规范以及整个社会产生深远影响。

业务影响

在短期内，对通用人工智能的期待使部分人过于乐观，同时也引发另一些人对生存威胁的担忧。这种乐观与焦虑情绪导致投资方向变得不理性或趋于极端，信任关系也随之发生变化，进而促使政府和相关机构更快地制定和推出新的AI监管政策。从长远来看，由谁来构建和控制通用人工智能或其他更强大的人工智能形式，成为一个重要问题。许多专家认为，由政府或公共机构对通用人工智能等强大AI系统进行管理至关重要。这可能会打破企业或个人原有的竞争优势，并重塑整个市场格局。

推动因素

多模态大语言模型（LLM）、推理模型、AI智能体的最新技术进步和市场关注度上升，是当前通用人工智能热度高涨的主要驱动力。深度学习的大规模扩展，以及海量数据和算力的可获得性，在很大程度上推动了这些进展。
AI进一步向本文所定义的通用人工智能演进，并且越来越多地结合其他部分新兴的方法，如知识图谱或因果图谱、世界模型、自适应AI、具身智能、复合与神经符号AI，以及可能的其他未知创新。
许多厂商正在公开讨论并积极研究通用人工智能相关技术，给人们营造出一种这项技术很快就能实现的印象。然而，这些厂商对通用人工智能的定义迥异，并且通常存在多种解释。此外，其他领先的AI厂商和专家则认为通用人工智能只是炒作，呼吁关注AI能力不断提升所带来的实际影响。
人类与生俱来设定崇高目标的欲望，是推动通用人工智能发展的主要因素。历史上，人类曾一度想通过模仿鸟类飞行来实现飞翔的愿望。如今，坐飞机旅行已成为现实。人类大脑的求知欲是不会消失的，将不断从大自然和自身汲取灵感。
人们将非人类实体拟人化的倾向也适用于AI驱动的机器。大语言模型人性化的反应和近期AI模型的推理能力进步助推了这一趋势。尽管这一属性在许多哲学家、神经心理学家和其他科学家看来充满高度不确定性甚至过于夸张，但它确实形成了一种通用人工智能已触手可及，或者至少距离实现越来越近的感觉。这反过来又引发了媒体的广泛关注，对加强监管、管理通用人工智能风险的呼吁，以及出于经济、社会和地缘政治原因对AI投资的强烈兴趣。

阻碍因素

关于"人类智能"的含义，科学界尚未达成一致。由于人脑和心智极其复杂，而我们对其理解又极为有限，任何关于通用人工智能的主张都难以被验证。
当前AI技术以模式识别为基础，存在不可靠、缺乏透明性，以及抽象和推理能力有限等问题，而深度学习本质上依赖概率性方法，这些问题很难通过深度学习来克服。无论是增加数据还是算力，都无法彻底解决这些挑战，更不用说实现通用人工智能。若想实现（并控制）通用人工智能，需要进一步的技术创新。因此，本文定义的通用人工智能在短期内不太可能出现。
通用人工智能若成为现实，可能会产生自主行为体，这些行为体最终会被赋予完全自我学习、能动性、身份甚至道德等属性。将引发关于AI法律权利的大量讨论，并带来深刻的伦理甚至宗教层面思考。通用人工智能还可能对人类产生负面影响，包括失业、由AI引发的新型军备竞赛等等。这可能产生严重的反作用，在不久的将来可能会出现禁止或控制通用人工智能的法规。

膨胀期技术

15 、AI安全运营中心智能体

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**孵化阶段

**定义:**AI安全运营中心（SOC）智能体解决方案利用人工智能（AI）为安全运营中的许多常见活动赋能，通过自然语言查询、降低误报率、充实告警信息、攻击路径情境化、报告摘要和下一步建议等方式，增强AI安全运营中心的调查能力。

为何重要

尽管AI安全运营中心智能体工具仍是新兴技术且大多未经验证，但为安全运营领导者提供了一个机会，以增强其员工队伍执行各种角色活动的能力。有效的增强措施可以减少执行某些任务（例如管理误报）所需的时间，还可以为项目带来其他收益，例如减少执行活动所需的技能集、减少错误并提高安全运营中心运营的整体绩效。

业务影响

AI安全运营中心智能体解决方案可以帮助安全运营团队：

更好地管理误报、增强告警、提供自然语言查询、生成攻击时间线、汇总报告，以及支持其他众所周知会消耗大量运营周期资源的常见活动。
增强全体安全运营团队成员执行日常工作活动的能力，从而在不增加人数的情况下承担额外工作负载。
减少执行某些活动所需的技能集，使初级团队成员就能够执行通常由更为资深的团队成员所执行的任务。

推动因素

缺乏执行有价值的安全运营活动所需的资源是一个普遍的问题。尽管尚未完全验证，但对于希望提升安全团队能力的安全运营领导者来说，AI安全运营中心智能体解决方案是其首选。
招聘、录用和留住安全运营团队成员并不容易。AI安全运营中心智能体解决方案使初级员工能够专注于更关键任务，从而提升员工的工作满意度和留存率。
由于资源限制，用户往往需要在调查哪些告警方面做出取舍。AI安全运营中心智能体可自动调查并关闭较低级别的告警，使人们有更多的时间来调查更重要的告警。

阻碍因素

AI安全运营中心智能体工具仍属于新兴技术，所宣称的益处大多未经证实，尚需努力以确保获得可衡量的成果，如团队工作流增强改进等，并揭穿任何AI洗白。
该领域的供应商针对安全运营中心的具体活动，授权与这些活动相对应的AI智能体。成本模式可能会限制AI安全运营中心智能体在整个职能团队中的广泛使用。
规模较小的团队可能难以论证AI安全运营中心智能体的成本，因为解决方案的真正价值是在运营周期中提供相对于当前团队基线的可衡量收益提升。

16 、AI运行时防御

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**发展阶段

**定义:**AI运行时防御对人工智能（AI）应用和模型实施基于意图的策略执行和异常检测，提供内容检测，以防范应用滥用和攻击（例如提示注入），还用于检测意图或内容异常（毒性、幻觉）。一些AI运行时防御工具针对特定应用（例如聊天机器人）设计。AI运行时防御是AI治理平台的常见功能，但在专注于网络安全时，也可作为独立产品使用。

为何重要

生成式AI应用需要专门的控制措施来缓解网络安全风险。AI运行时防御往往专注于应用安全，通常主要应对大语言模型（LLM）聊天机器人面临的提示滥用，但开始扩展到其他类型的攻击，如模型查询攻击，还能够监控模型是否存在越狱、数据泄漏、性能漂移、有偏见或有毒的模型输入或输出，从而帮助缓解内容异常问题。

业务影响

AI运行时防御可实时查看潜在的AI异常或攻击。在拥有大量AI应用的企业机构中，中心化的可视性和告警管理有助于识别使用同一AI模型的多个应用所共有的问题。基于LLM的应用在新应用的占比越来越高，需要对输入进行控制以避免应用被滥用，同时对输出进行控制，以减少品牌受损和根据错误的输出进行决策的风险。

推动因素

安全团队仍在紧跟实施中的AI应用计划，并寻求可以轻松部署的AI运行时控制。
生成式AI正在推动大量安全投资，但异常检测和安全控制可以适用于更广泛的AI应用和AI模型。
AI应用需要监控，以确保合规实施、避免应用滥用和防止恶意行为。
AI智能体的出现不仅加强了对运行时保护和异常检测的需求，还新增了低延迟和更低的误报率要求。
Meta的LIama Guard等开源产品可用于商业用途，但其使用受到一定的限制。
早期初创企业面临着大型老牌提供商的日益激烈的竞争，后者也纷纷提供类似功能，如安全服务边缘（SSE）。但如今，专业化供应商提供了差异化的功能，比如获得系统提示和原始模型输出，或运用机器学习技术分析这些输入和输出的意图。
保险要求、即将出台的法规（如欧盟AI法案和若干美国法律），以及现有的企业政策，可能要求采用应用安全实践，包括预防性控制和监测，以支持降低高风险AI系统的风险。

阻碍因素

新的AI控制工具难以集成到现有的安全和其他监控系统中，因为它们通常需要建立新的剧本和分流能力，特别是针对非安全事件（法务、合规、合理使用政策）。
AI运行时防御工具通常集成到更广泛的AI治理平台中，将测试和风险评估与运行时监控相结合。这使得应用安全领导者更难针对其特定目的进行部署和调整。
基于文本输入的实时安全警报可能产生很多噪音，且容易出现高误报率，例如，在检测到SQL注入和跨站脚本攻击（XSS）时。
许多提供商规模较小且仍在成长，其产品的有效性尚未得到验证。
部署形式可能会影响控件可以看到的内容：部署在应用前端，控件就只能看到用户输入和应用输出。应用栈中可能需要多个入口点，特别是在多模态AI应用中。
企业机构可能会对检查应用输入和输出存在隐私方面的顾虑，尤其是涉及与提供商的软件即服务（SaaS）平台共享敏感内容时。

17 、AI TRiSM

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**主流采用起步阶段

**定义:**AI信任、风险和安全管理（TRiSM）由四个技术能力层构成，这些技术层支持所有人工智能（AI）用例的企业策略，确保人工智能得到妥善治理，并且值得信赖、公平、可靠、安全，能够保护隐私和数据。其中，上两层（AI治理、AI运行时检测及执行）涵盖AI领域的新兴能力，正逐步整合并形成一个独立的市场细分领域。下两层则代表经调整适用于AI系统的传统技术。

为何重要

AI带来了新型信任、风险与安全管理挑战，依靠传统管控措施已难以应对。当前，企业最担心的是数据泄露、第三方风险以及不准确或不符合预期的输出。因此，确保企业AI系统的行为及举措符合企业意图变得十分重要。随着AI市场的迅速成熟与变化，企业还必须避免对任何单一AI模型或托管服务提供商的依赖，以确保可扩展性、灵活性、成本控制和信任。

业务影响

企业机构如不能持续管理AI风险，则会大大增加产生不利结果的可能性，例如项目失败、AI行为不当和数据保密性受损。不准确、不道德或意外的AI结果，流程错误，不受控制的偏见，恶意行为者干扰，都可能导致安全故障、财务和声誉方面的损失、法律责任或社会危害。AI行为不当还可能导致企业机构做出不理想或不正确的业务决策。

推动因素

由于安全性与伦理问题顾虑，人工智能和生成式人工智能（GenAI）在关键业务运营中的应用受阻。
企业面临着多种与AI相关的风险，其中最令人担忧的是数据泄露、第三方风险以及不准确或不符合预期的输出。
目前，针对企业AI系统的恶意黑客攻击仍属少数。但大量案例已表明，缺乏控制的聊天机器人可能带来危害；同时，内部数据过度共享也经常导致数据泄露。
市场对生成式AI TRiSM解决方案的需求稳步上升，各大提供商竞相提供这一新兴企业业务。
一些企业机构主要关注安全性和风险控制，而另一些则更重视伦理实践、安全使用以及合规支持。
AI信任、风险和安全问题暴露出内部存在的组织孤岛问题，促使各团队打破壁垒、加强协作，共同应对跨部门挑战，并推动相关技术手段的落地与实施。
基于大语言模型（LLM）的AI智能体正在被引入，其自主程度各不相同，既可独立执行任务，也可在人类参与下执行任务。
随着AI智能体的快速增长，对其进行治理的需求日益增加，传统依赖人工干预的监督机制已难以有效应对。
人工智能风险管理法规推动企业建立健全相关的风险管理机制。在现有法律框架基础之上，此类法规定义了企业机构必须满足的新合规性要求，例如与隐私保护相关的要求。

阻碍因素

AI TRiSM通常作为应对风险的补救手段而非前期规划的一部分。许多企业机构通常在AI应用进入生产阶段之后才开始考虑引入相关技术，而此时再进行部署将面临较大的挑战。
许多企业资源有限，不具备实施TRiSM技术的技能或能力。
企业通常依赖现有供应商获得AI TRiSM相关的能力，尽管这些供应商自身往往也不具备完善的AI TRiSM能力。在此背景下，企业只能通过供应商的许可协议来保障其敏感数据在托管环境中的隐私性。
嵌入AI的现成软件通常是闭源系统，并且不支持通过应用编程接口（API）访问第三方AI TRiSM产品，限制了企业策略的统一执行能力。
大多数人工智能威胁和风险尚未得到充分的了解和有效解决。
为有效实施AI TRiSM，企业机构需要建立一个由法务、合规、安全、IT和数据分析人员共同组成的跨职能团队，制定共同的目标并采用统一的治理框架。
虽然AI TRiSM可以集成生命周期控制措施，但在实施过程中仍面临诸多挑战，特别是在缺乏API支持的嵌入式AI系统中。

18 、AI素养

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**AI素养是指在（商业和社会）场景中有效和负责任地利用人工智能（AI）的能力，包括根据自身角色，了解其影响、风险以及由此产生的价值和成果。除此之外，还包括了解AI的基本原理、技术与应用、分析方法与算法方法、数据和知识源，以及伦理考量。

为何重要

AI------特别是生成式AI------是许多企业的业务重点。越来越多的业务领导者意识到，如果要利用AI推动创新、创造价值和推动企业机构变革的潜力，就必须提升员工的AI技能。针对特定角色的AI素养是一项基本能力，各类企业都必须培养这一能力，才能充分发挥新AI时代及未来的全部潜力。

业务影响

为了充分利用AI转变业务模式和积极塑造社会的潜力，领导者必须加快步伐，使AI素养成为AI采用和治理的核心内容。AI领导者需要通过提升员工技能来优化价值、建立信任并管理AI风险。他们必须与其他C级高管紧密合作，以确保AI的影响得以实现。快速获益且最简可行的AI用例可以提供动力，但持久的变革需要时间，以便整个员工队伍掌握实现预期业务成果所需的新技能。

推动因素

在首席执行官（CEO）和业务领导者的推动下，AI（尤其是生成式AI）的实施正在增加，人们越来越关注AI就绪度和提升员工技能的需求。员工AI素养已经被越来越多地视为企业全面把握机遇、对AI就绪型数据进行分类，以及实现AI和创新前景的重要因素。
由于需求量大，AI的采用正在迅速增长，现已成为企业机构业务模式和数字平台的核心。由于每个人都成为信息工作者，因此掌握使用AI以及数据和分析、知识管理等相邻技术的能力，比以往任何时候都更加紧迫。
有效的AI战略需要包含变革管理计划，通过该计划推动AI的采用并提升员工的AI和数据技能。
AI的风险、局限性和伦理问题，以及日益增长的监管压力（如欧盟的《AI法案》），推动了对治理、政策和更多技术性缓解战略的需求。这些因素需要企业快速地提升员工在意识、行为和批判性思维方面的AI素养，这对负责任地使用AI至关重要。

阻碍因素

CEO和高管发布的AI相关指令，给企业机构带来了巨大的交付压力；与此同时，他们对员工AI相关技能方面的期望却不切实际。
对AI素养的含义及其与数据素养的关系缺乏明确的认识。
许多企业机构面临员工AI素养较低的问题。
企业机构没有认识到，AI就绪需要以AI素养作为基础。
AI素养框架和培训课程相对较新。
如果无法认识到AI素养和数据素养是AI的基础且相互关联，就会阻碍AI发展。
如果未能设定适当的关键绩效指标（KPI）和其他指标，可能导致无法衡量AI的价值。
没有指定AI素养项目负责人。
一些数字素养举措未与AI素养挂钩。
企业机构缺乏足够的投资来启动和扩大AI素养项目。
在一些企业中，需要数年时间才能让全企业的所有角色都具备AI素养。
一些员工可能会选择离职，而不是提升技能。

19 、代理型AI

**影响力评级:**颠覆

**市场渗透率:**目标受众覆盖率为1%~5%

**成熟度:**发展阶段

**定义:**代理型AI是一种人工智能（AI）解决方案构建方法，使用一个或多个完全或部分符合智能体特征的软件实体。AI智能体是自主或半自主的软件实体，利用AI技术在所处数字或物理环境中进行感知、做出决策、采取行动并实现目标。

为何重要

代理型AI正处于期望膨胀期，人们对其关注度迅速飙升。2024年与AI智能体相关的咨询量增加了750%。由于市场认知混乱，代理型AI被卷入生成式AI的炒作浪潮中。对于适用的用例，代理型AI可以通过更好的AI集成来提供显著的价值。AI智能体开启了一个全新时代，截然不同的软件实践将推动构建高度分散的决策系统。

业务影响

正如早期AI智能体系统（通常基于嵌入式系统）数十年来所展示的那样，代理型AI如果应用得当，可以产生巨大的业务价值。代理型AI通过目标驱动型系统，有望带来更高的灵活性和适应性，不仅能够实现更高水平的自动化，更重要的是实现增强，从而创造业务价值，进一步弥合人与机器之间的差距。

推动因素

**技术进步：**代理型AI融合了复合型AI（即混合AI）、决策智能和大型动作模型的发展。目前，这些技术的发展都非常迅速。
**市场势头与炒作：**受益于强大的市场势头，许多用户企业机构正在对代理型AI进行试验，从而带来了大量投资。
**厂商投资：**许多厂商加快了代理型AI的功能开发，推动了该趋势和总体需求的加速发展。
**高级自动化承诺：**与工作流自动化和机器人流程自动化（RPA）等传统方法相比，代理型AI可提供更具弹性和韧性，且情境化水平更高的流程，为更灵活的自动化打开了大门。
**复杂用例：**业务环境、目标或执行中日益增加的复杂性和动态变化，带来了对于更分散、更少确定性的特性的需求，而多智能体系统可以满足这一需求。

阻碍因素

市场炒作导致"AI智能体"的概念被滥用。厂商纷纷进行"智能体洗白"------即，将现有产品（例如AI助手、RPA工具和聊天机器人）重新命名，以吸引买家关注，但没有提供实质性的代理型能力。这种做法导致人们对该技术的成熟度产生不切实际的期待。
可预测性是现阶段AI智能体存在的一个核心局限。现有AI智能体或许能够执行某些任务，但在特定应用场景中，往往难以稳定执行任务，因此大多数情况下不适合完全自动化。
随着自主性的增强，AI智能体也带来了一系列新型风险，超出了传统独立AI模型或生成式AI助手的范畴。
目前市场上的大多数产品实际上是AI助手，而非真正的AI智能体。AI助手通常缺乏AI智能体的自主决策和行动能力；然而，用户对AI的期望越来越高，却没有意识到构建智能体所需的全部投入。

20 、网络安全AI助手

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**发展阶段

**定义:**网络安全AI助手利用生成式人工智能（生成式AI）技术发现网络安全工具中的现有可用知识，生成内容或代码，并协助安全团队完成日常任务。网络安全AI助手多以现有产品的辅助功能出现，也可以作为专用前端存在，并可集成软件智能体以执行操作。

为何重要

大多数网络安全技术提供商都在现有产品中嵌入了生成式AI助手。这些网络安全AI助手可以发现知识和创建内容（通常以摘要或生成代码/脚本的形式），其提高生产力的潜力吸引了网络安全高管的注意。网络安全AI助手正在缓慢演进，逐步多模态化并成为智能体，可用于整合多个网络安全工具，构建自动化流程，以完成各种重复性任务。

业务影响

企业机构将网络安全AI助手作为现有工具的组成部分来使用，并对独立AI助手进行试点。
网络安全可以提高相关人员的操作准确性，减少因安全事件而导致的业务中断和可能的数据丢失。
网络安全管理人员流动率高的企业机构可以从AI助手带来的优势中受益，因为网络安全AI助手可以缩短新员工的培训周期。
网络安全AI助手可协助执行更安全的代码、修复云错误配置、生成脚本和代码，并识别日志系统中的关键安全事件。
网络安全AI助手的其他用例包括调整安全配置，以及识别和分析风险与合规问题。

推动因素

生成式AI工具和框架的大量可用，导致了提供商的快速采用，这是网络安全AI助手采用的最大推动因素。
网络安全AI助手有助于团队快速创建通用最佳实践指南，整合和分析威胁情报，自动执行事件响应的第一步，以及生成应用安全补救建议。
企业机构持续面临技能短缺问题，并寻求机会自动执行资源密集型网络安全任务。
网络风险分析师需要加快网络风险评估，并通过提升具体情境下风险数据的自动化和预填充能力，改善敏捷性和适应性。
在更广泛的意义上，生成式AI通过更好地聚合、分析输入数据并确定其优先级，增强现有的持续威胁暴露面管理计划。此外，这项技术还能生成可供验证的真实场景。

阻碍因素

定价方面的不确定性是采用这项技术的关键考虑因素。目前，只有少数提供商公布了定价，许多则提供免费试用。
网络安全行业饱受误报的困扰。一旦生成式AI出现糟糕的"幻觉"和不准确的响应，企业机构就会对这一技术的采用持谨慎态度，或限制其使用范围。
在生成式AI应用的负责任AI、隐私、信任、安全和保障的实施方面，还没有相关的最佳实践和工具。在无法确保数据安全和隐私的情况下，安全团队可能不愿意启用生成式AI功能。
网络安全AI助手的功能范围通常仅限于其所属产品，从而造成洞察碎片化并对其发挥价值造成限制。
即时可以使用生成式AI来增强，但企业机构仍需要具备核心技能集。目前，采用生成式AI会带来额外工作量，之后随着技术的逐步适应和完善，才有望减少工作负担。
生成式AI技术仍处于发展阶段，建立实现广泛采用所需的信任基础尚需时日。对于技能增强型用例来说尤为如此，因为企业需要先具备有待增强的技能，才能确保提出合理的建议。

21 、差分隐私

**影响力评级:**较低

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**成型阶段

**定义:**差分隐私是一种在使用或共享数据时隐藏或变换数据集中某些个人身份识别要素的方法，利用精确的数学算法，将噪声随机加入数据中，并在每次查询中，为实现结果的可识别性、接近性和多样性而添加参数。如果应用得当，该方法可以防止个人数据的泄露，同时确保所得分析在信息层面上不会发生重大变化。

为何重要

在内容提供或个性化推荐时，人们对隐私和算法中的个人数据使用仍然存在担忧。为防止未经授权的个人数据使用而采取的监管措施不断增多，企业在使用这些数据的同时，也在寻找保护个人可识别信息的方法。差分隐私功能就是一种可用于实现此目的的技术。

业务影响

业务数据蕴含价值，其中相当一部分涉及个人数据。限制使用个人数据的法规不断增加，而企业也会因个人数据滥用而承担巨大责任。企业需要维护其保护客户数据的企业形象。在AI模型训练中，许多技术可被用于解决隐私保护问题。差分隐私确保了在对聚合数据进行有意义分析的同时，保护单行数据的隐私。

推动因素

差分隐私不仅有助于降低风险，还可使此前难以使用的数据能够用于人工智能（AI）和分析用例。这样既可推动在企业机构内部创建和共享的洞察，也有利于外部不同实体之间共享洞察。
企业机构在尊重伦理标准和遵守关于使用（直接或间接可识别的）个人数据监管要求的同时，可以从数据中获取有价值的洞察。
相关法规正变得更为严格，其中包括对在算法训练中使用个人数据的规定，以及对算法在处理个人数据方面的要求。
某些技术高超的恶意行为者在国家支持下，窃取个人信息以实施欺诈，此类风险仍在上升。
商业声誉和信任可能因信息泄露或滥用而受到重大损害。
信息暴露并不局限于控制业务的数据集。即使业务所用的数据经过了匿名化处理，恶意行为者仍可通过越来越多的手段，结合数据源来重新识别出个人身份。
差分隐私技术不会改变源数据，因为每个查询的答案都是"实时"处理的，因此能够在保留源数据完整性的同时保护使用中数据。这也正是该技术与其他隐私增强技术（PET）应用选项的区别所在。
采用差分隐私技术，信息价值能够通过隐私预算，以可控的方式得到维护，从而提供所需的匿名化水平。这种控制方式提供了可能无法通过其他方式实现的选择。
一些提供商已经开始在其产品中添加协作式差分隐私功能，以实现进一步的隐私保护。

阻碍因素

对差分隐私工具进行比较或部署，往往并非易事。
隐私保护解决方案使用的技术多种多样，有效性也各不相同。企业机构通常缺乏一个统一框架，无法根据用例要求、技术成熟度和适配性来确定最适合的方法。
大多数工具提供强度不一的匿名化处理，侧重于降低再识别的可能性，而另有一些部署除了再识别保护外，还增加了对结果多样性和接近度的衡量。这可能导致在比较时出现混乱。
由于差分隐私部分依赖于向数据中添加噪声，因此需要进行微调，以确定适当的添加强度。
对差分隐私不熟悉，以及缺乏可对其进行部署和管理的熟练员工，阻碍了企业机构对该技术的采用。不同司法辖区对"匿名"或"假名"数据定义的差异，进一步增加了采用难度。
在设置隐私预算（即实施控制的程度，或者说"如何设定隐私预算参数ε"）时，缺乏透明度会破坏信任，而提高透明度则可以提高信任。

低谷期技术

22 、合成数据

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**主流采用起步阶段

**定义:**合成数据是一类人工生成的数据，并非通过直接观测现实世界而获得。在数据匿名化、人工智能（AI）和机器学习（ML）开发、数据共享和数据变现等多种用例中，合成数据被用作真实数据的替代品。

为何重要

收集真实世界中的数据并对这些数据进行标注，以便用于AI开发，这一过程通常极为耗时且成本高昂。特别是在自动驾驶模型训练等应用场景下，要收集覆盖所有极端情况的真实数据几乎不可能，或者非常困难。而这些挑战可以通过合成数据来解决。合成数据能够快速生成，成本低廉，且不包含个人可识别信息（PII）或受保护的健康信息（PHI），因此在隐私保护方面具有重要价值。前沿AI模型的兴起，进一步凸显了合成数据作为一种构建可扩展模型的经济高效手段的重要性。

业务影响

合成数据在各行业的采用率不断提升，Gartner预测，随着合成数据以下优势的逐渐体现，其采用率将进一步上升：

降低AI模型训练对个人可识别信息的依赖------可以使用原始数据的合成变体，或者使用合成数据代替部分原始数据。
减少机器学习（ML）开发的时间和成本。
提高人工智能模型的性能------提供更多"特定用途"的训练数据意味着更高质量的结果。
支持企业探索那些真实数据数量极为有限的新应用场景。
更高效地解决公平性问题，如偏见和有害内容。
支持在真实但私密的数据上进行软件测试，而无需担心法律风险，或在缺乏真实数据的情况下也能进行测试。

推动因素

在医疗和金融等受监管的行业，合成表格数据在AI训练数据隐私保护方面的作用，推动企业机构的购买热情不断上涨。
由于对自然语言自动化训练（尤其是聊天机器人和语音应用）合成数据的需求日益增长，供应商不断推出新产品，通常用于训练特定领域的生成式AI（GenAI）模型。这不仅扩大了该市场的供应商格局，而且推动了合成数据的采用。
合成数据的应用范围不断扩展，已不再局限于汽车和计算机视觉用例，而是开始涵盖数据变现、外部分析支持、平台评估和测试数据开发等其他用例。
Transformer和扩散架构（生成式AI的架构基础），正在推动合成数据生成达到前所未有的高质量和高精度。AI模拟技术则通过更好地重建现实世界的表征，提高了合成数据的质量。
合成数据在其他数据类型上的应用前景广阔。除了表格、图像、视频、文本和语音等常见数据类型，相关研发实验室正在将合成数据概念扩展到图结构以及多模态AI。合成图数据能模拟原始数据特征，但不完全与之重叠。随着企业机构越来越多地使用图技术，Gartner预计这一方法将不断成熟，并推动合成数据的采用。
随着用于训练前沿AI模型的数据提供商提高其数据访问成本，合成数据作为一种经济实惠的替代方案正获得越来越多的关注。

阻碍因素

合成数据可能出现多种问题：隐性偏见、遗漏真实数据中的异常情况、开发过程复杂，或者无法为已有真实世界数据提供新的价值。
虽然合成数据降低了隐私风险，但一些行业（如医疗、金融）在合成数据是否能为合规目的完全替代或增强真实数据方面，仍面临监管不确定性。
合成数据生成方法尚未实现标准化。
验证合成数据的准确性较为困难，难以确定合成数据集是否准确捕捉了底层的真实世界环境。
由于缺乏相关技能，买家对技术的应用场景和方法感到迷茫。
企业原有的数据管道较为传统，将合成数据集成到现有的数据湖、分析系统及AI工作流中，通常需要付出额外的努力，并引入额外的工具和基础设施。
用户可能会持怀疑态度，因为数据可能被认为是"劣质"或"虚假"的。

23 、软件物料清单

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为5%~20%

**成熟度:**成型阶段

**定义:**软件物料清单（SBOM）是一种结构化的机器可读文档，提供用于构建软件包的所有软件组件（包括开源软件或专有软件）的嵌套清单。SBOM提供了其所包含的每个组件的详细元数据，使软件供应链中的潜在风险变得可见，从而实现了透明度、可审计性和可追溯性，优化了风险管理以及系统和企业机构之间的协作。

为何重要

Gartner估计，新软件项目中，60%到80%的代码源自第三方，其中大部分来自开源软件（OSS）项目。这一趋势由代码复用带来的生产力收益驱动，但也伴随着重要的权衡。近年来，开源软件漏洞和供应链攻击的数量都在显著增加，每年增幅分别达到两位数和三位数。SBOM为企业机构提供了管理这些风险所需的可见性。

业务影响

已制定并将SBOM能力集成到其工作流中的企业机构，可通过高效的漏洞缓解措施、简化的监管合规，以及提高内部开发和并购尽职调查期间的透明度等方式，改善其风险态势。SBOM还为采购团队提供了软件供应链风险洞察，从而辅助采购决策。

推动因素

日益增加的监管要求：全球的监管机构都在对提供透明度和降低软件供应链风险做出要求。在美国，食品药品监督管理局（FDA）、网络安全和基础设施安全局（CISA）等机构，都要求或强烈鼓励将SBOM作为与其交易的先决条件。在美国之外，欧盟（例如《欧盟网络弹性法案》[CRA]）、日本的医药品医疗器械综合机构（PMDA）和澳大利亚治疗用品管理局（TGA）等机构也正在采用类似的举措。这些全球各地的举措凸显了SBOM在软件供应链风险方面的重要性。
投资者和董事会对软件风险的关注：随着监管日益严格以及高影响力安全漏洞事件频发，网络风险已成为董事会和投资者层面的优先考虑事项。他们对安全领导者的期望日益提高，需要其清晰说明软件风险，并承担管理与软件供应链相关的暴露面的责任。采用SBOM可体现网络成熟度，展示对透明度、有效风险缓解能力以及应对监管和利益相关者期望的承诺。
客户和市场期望：客户希望了解与其购买或集成的软件相关的供应链风险，对这方面的透明度要求越来越高。随着行业全面转向将安全融入设计的实践，在标准机构和开源倡议（如开源安全基金会［OpenSSF］、开放式全球应用安全项目［OWASP］和CISA）的推动下，安全压力进一步加剧。许多企业买家开始在软件续订和采购流程中要求卖方提供SBOM，透明度因此成为竞争优势。随着SBOM采用的持续增长，无法或不愿提供SBOM的企业机构面临失去客户信任和市场份额的风险。

阻碍因素

**技术复杂性：**需要为每个发布的工件版本提供相应的SBOM，因为不同构建版本的开源软件组件不同。云原生、松耦合架构导致SBOM泛滥；为应对这一问题，企业不得不将分散的SBOM整合为应用级别组合式SBOM。这就要求工作流的紧密集成，并为SBOM的分发、使用和可信度验证提供可扩展方法。
**组织障碍：**许多企业机构难以将SBOM用例集成到现有流程中，这阻碍了投资回报率（ROI）证明，并导致制定SBOM的优先级降低。有限的专业知识以及对知识产权（IP）和许可授权的法律顾虑，进一步限制了SBOM的共享。
**工具生态系统挑战：**尽管采用率不断增长，但SBOM工具的生态系统仍然十分碎片化且不成熟。许多工具无法对不同工件的SBOM进行合并，或无法与支持SBOM用例的流程集成。标准不一致、信任机制（例如签名和验证）薄弱和分发不佳，进一步限制了SBOM发挥效用。

24 、数据安全治理

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为20%~50%

**成熟度:**主流采用起步阶段

**定义:**数据安全治理（DSG）针对数据安全、隐私与合规问题引起的业务风险进行评估和优先级排序。有效的DSG可协助企业机构建立数据安全策略，从而支持业务成果的实现，并在满足业务需求与管理相关风险之间找到合适的平衡点。

为何重要

本地和多云架构中的数据激增，带来了安全、隐私和合规等业务风险，使得以尽可能减少优先级较高风险为目标的数据安全策略变得更加复杂。DSG建立在数据风险评估（DRA）的基础上，为识别、评估业务风险、确定风险优先级和减轻风险提供必要的方法。DSG还通过一致的数据安全策略，在执行优先业务和缓解风险之间建立平衡。

业务影响

DSG提供了一种平衡策略，能够在有效管理数据访问和使用的同时，执行安全和隐私措施，从而管理风险。DSG要求首席信息安全官（CISO）、首席数据和分析官（CDAO）和业务领导者之间开展协作，以达成数据安全指导委员会（DSSC）确立的目标。这种协作有助于克服沟通障碍并重新聚焦于治理工作，以最大限度地减少业务和数据风险。

推动因素

平衡业务风险与业务成果的需求，推动企业机构对将导致各种业务风险的数据风险进行持续评估、确定其优先级并进行管理。
企业机构需要以风险导向型数据安全策略为指导，针对不同数据集实施一致的数据访问控制。
生成式人工智能（生成式AI）技术正在被越来越多的企业机构所采用。该技术的普及放大了相关的数据风险，而创建并实施由DSG驱动的全面、一致的数据安全策略，可以有效地降低此类风险。
为确保业务连续性，各企业机构必须有效处理并协调内部和外部对各个数据集用户访问权限的要求，考量因素包括隐私、保密性、完整性、可用性、业务目的和生命周期风险等。
企业机构需要制定合适的流程，针对多种独立的数据安全和身份与访问管理（IAM）产品，创建和编排数据安全策略，从而在数据安全策略中最大程度地填补缺口和减少矛盾。
没有一种产品能够全面降低与数据相关的业务风险，这充分凸显了集中创建和协调数据安全功能的必要性。
越来越多的隐私法规引入了与数据驻留和主权要求相关的风险。利用DSG流程，包括实施有效的隐私影响评估（PIA），对于降低这些风险至关重要。

阻碍因素

业务利益相关者在管理数据及其相关风险方面的职责较为分散，这给利用DSG实施一致的数据安全策略带来了挑战。
随着企业机构针对非结构化或结构化数据，或者专有数据分类部署多款独立运营的数据安全、身份与访问管理（IAM）及应用原生安全产品，构建稳健的DSG变得愈发困难。
本地和多云服务中数据存储和处理方式的动态变化，可能会导致制定并执行一致、高效的数据安全策略所面临的情况变得更加复杂。
DSG要求安全团队必须考察既有的各种安全控制，并进行数据安全策略协调。这一障碍因需要定期进行数据风险评估（DRA）而加剧，评估目的在于从增加的业务风险中发现差距和不一致之处，或者识别出尚未满足的策略或产品部署需求。
由于目标类似，PIA会被错误地视为DRA的替代品。

25 、网络安全预测建模

**影响力评级:**中等

**市场渗透率:**目标受众覆盖率为20%~50%

**成熟度:**成型阶段

**定义:**预测建模是一种前瞻性的方法，可在事件或结果发生之前，利用数据分析和监督学习来进行预测。预测建模通过分析广泛的网络安全数据，使网络安全团队了解针对企业机构的对抗行为发生的可能性。在网络安全领域，该方法传统上用于欺诈检测或漏洞评估，但最近已扩展到用于威胁情报和风险管理。

为何重要

预测建模可基于早期可疑行为模式，在数据外泄之前，预测哪些安全漏洞最有可能被利用，从而帮助企业机构确定安全防护的优先级。配合使用威胁情报，可推动企业机构实现更自动化的安全决策，例如根据异常模式阻止恶意活动。如果应用得当，该技术还可以汇总和分析本地业务情境的数据，提高其准确性；汇总和分析各种来源（包括威胁情报源、社交媒体和暗网）的数据，使企业机构能够识别威胁模式，有助于尽早检测出潜在威胁。

业务影响

在当今数字生态系统中，网络威胁变得更复杂、更持久和更具破坏性。传统的网络安全方法更依赖于响应式措施------在事件发生后采取行动。通过分析各种来源的数据，预测建模有助于识别威胁模式和异常，使网络安全团队能够主动识别、评判和处理潜在风险，保护企业机构并减少其威胁暴露面。

推动因素

预测网络攻击和消除最有可能被利用的暴露面，有助于减少与数据泄露相关的成本，例如财务损失、声誉损害和监管处罚。企业的平均泄露成本为数百万美元。
传统的网络安全措施本质上更具被动性，只有在威胁发生后才会做出响应。
网络安全领导者希望采取主动的数据驱动型方法，利用预测建模来获得前瞻性，这样不仅能够防御现有威胁，还能在潜在漏洞可能被利用之前对其进行预测和修复，从而保持主动的安全态势。
预测建模使具有远见的企业机构能够不断从新数据、自身情境和信号中学习来调整其安全项目，从而在新兴威胁出现之前做好准备。

阻碍因素

**数据质量和可用性：**有效的预测建模需要高质量且全面的数据，但由于存在数据孤岛、数据集不完整或无法访问必要信息等原因，这些数据可能难以获取。
**实施的复杂性：**开发预测模型并将其集成到现有的网络安全框架中可能十分复杂，需要耗费大量资源，并且需要专门的技能和专业知识。
**局限性：**预测模型可能产生误报或漏报，导致不必要的告警或遗漏威胁，在缺乏适当框架来测试和衡量预测建模有效性的情况下，可能破坏对系统的信任。
**威胁形势的复杂性：**企业机构和网络安全提供商通常只能基于过去检测到的攻击行为，获取威胁实施者活动的部分信息，这限制了预测模型的能力范围，特别是对于较新的攻击向量的预测。
**隐私和伦理顾虑：**使用预测建模需要使用大量数据，这引发了隐私和伦理顾虑，尤其是在敏感信息的收集和分析，以及提供商对数据的访问方面。
**实施成本：**开发、部署和维护预测模型所需的财务投资可能成为障碍，特别是对于预算有限的小型企业机构而言。
**与现有系统的集成：**确保预测模型与现有网络安全工具和基础设施的无缝协作可能存在难度，需要大量努力和协调。

26 、威胁建模自动化

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率为20%~50%

**成熟度:**主流采用起步阶段

**定义:**威胁建模自动化工具可自动创建安全需求和威胁模型，动态凸显应用架构的潜在安全影响，并建议安全编码实践或架构性缓解措施。此类工具还可用于管理威胁库、跟踪缓解措施，并将安全分析集成到软件开发生命周期（SDLC）中。

为何重要

对攻击面安全需求进行威胁建模，是通过设计确保应用安全性的关键步骤。使用自动化工具，可以更方便地在应用开发的设计阶段就将安全性纳入考量，推动实现安全设计流程。虽然无法保护应用，但是自动化工具有助于创建安全的应用架构，并确保识别出适当和特定的安全要求。

业务影响

威胁建模自动化工具大大减少了创建和维护威胁模型、安全需求和风险评估所需的工作量。这可确保能够尽早------而不是等到流程后期------定义单个项目专有的安全规格，同时保证较低的成本和风险，为企业机构内的多个群体（包括架构师、开发人员、安全团队甚至业务利益相关者）带来明显收益。

推动因素

各企业机构都在努力创建安全应用。当前的问题是安全能力（如身份验证、访问控制和数据保护）不足，以及基础性安全设计存在缺陷，所有这些问题都导致应用容易受到攻击。
安全设计计划和安全软件合规要求使威胁建模成为一种必不可或缺的最佳实践。自动化的威胁建模工具使实践变得更快且更具可扩展性，还有助于确保与授权和监管相关的具体要求得到满足。
随着分布式云原生技术的纳入、内部和第三方应用编程接口（API）以及人工智能（AI）的使用增加，现代应用越来越复杂，导致以人工方式对威胁进行准确建模的难度越来越高。威胁建模自动化可加速建模过程，并帮助建模者识别所有威胁和相关应对措施。
开发速度过快，导致威胁建模的时间和资源捉襟见肘，而敏捷等迭代开发办法意味着必须更频繁地更新威胁模型。这两个掣肘因素都使得人工建模愈发困难，并且增大了威胁建模在范围上受到限制或被完全跳过的可能性。

阻碍因素

在准确表示应用的快速变化方面不尽如人意，仍然是威胁建模自动化工具当前的一个弱点。当今多数工具需要用户干预，以随着应用的变化而更新模型，这可能导致工具被弃用。随着供应商开始将系统直接链接到云平台或基础设施即代码文档，这一情况正在得到改善，可确保模型能够自动反映应用变化，然后再自动生成最新指南。
不同工具的具体能力存在较大差异。免费和开源工具易于采用，但在对更复杂系统建模时效果不佳。这促使企业机构考虑使用商业工具------尽管对最高级用户来说，这些限制因素削弱了这些工具的适用性。
多数企业机构在确立应用安全计划时，仍然将重点放在应用安全测试上。威胁建模工具对于在开发阶段识别代码中的漏洞至关重要，但无法在规划阶段识别设计缺陷。

复苏期技术

27 、基于机器学习的异常检测

**影响力评级:**较高

**市场渗透率:**目标受众覆盖率高于50%

**成熟度:**主流采用起步阶段

**定义:**在网络安全领域，基于机器学习（ML）的异常检测利用有监督和无监督的机器学习算法来识别网络流量、系统活动或用户行为中的异常或可疑行为。这些能力使用标记或未标记数据来训练模型，可以部署在本地或云端，作为基础设施安全工具中的威胁检测引擎，或与安全运营工具（例如安全信息和事件管理[SIEM]）集成。

为何重要

传统且基于规则的系统难以应对未知和异常攻击，也无法处理巨大规模的数据，导致产生高误报率。基于机器学习的异常检测之所以重要，是因为该技术可以通过学习正常行为来识别与威胁相关的偏差，而基于规则的系统往往无法发现这些偏差。虽然基于机器学习的检测在许多网络安全解决方案中已十分成熟，但安全团队必须持续改进其识别恶意活动和确定响应优先级的方式。

业务影响

基于机器学习的异常检测可用于：

帮助检测已知攻击和新型攻击。对于单独使用基于规则的系统无法奏效的用例，结合机器学习则可以成功应对，从而最大程度地减少损害、缩短停机时间和降低恢复成本。
缩短检测更高级威胁的平均检测时间（MTTD），从而提高安全团队的运营效率。
支持针对各种威胁向量的检测，以改进企业机构的防御。

推动因素

**不断增加的威胁复杂性和数据容量：**不断增加的网络威胁数量和复杂性，加上企业机构活动产生的流量和数据的指数级增长，使得人工检测和基于规则的系统在识别可作为高级攻击信号的细微异常方面无能为力。
**高效安全运营的压力：**需要检查的潜在问题数量巨大，显著影响了MTTD和平均修复时间（MTTR），因此需要利用基于机器学习的技术，实现自动划分优先级。
**防止声誉损害的需要：**利益相关者认为企业机构应保护敏感数据。如果企业机构未能检测到入侵后的恶意活动，就可能导致严重的声誉损害和客户信任损失。
机器学习的进步：封装机器学习技术可访问性和复杂性的不断提高，正在推动专门为网络安全量身定制的更有效、更用户友好的异常检测平台的开发，使实施和使用所需的专业知识得以减少。
新型攻击：识别新兴攻击------包括利用大语言模型（LLM）进行社会工程和不断涌现的新型恶意软件变体的攻击，需要基于行为的检测，而不是依赖于已知模式。
AI 智能体的出现：自主人工智能（AI）智能体在各类运营中的使用不断增加，使基于机器学习的异常检测变得必不可少。该技术可为智能体确定正常行为基线，并自动标记偏差，从而保护智能体，通过持续分析AI智能体行为以检测威胁来确保自动化过程的安全性。

阻碍因素

基于机器学习的异常检测需要调优，否则误报率将过高------与基于规则的系统相比，过高的误报率会分散安全运营团队对真实安全事件的注意力。
建立对机器学习驱动型异常检测的信心，前提是要有明确的证据和新的验证流程，而实现这一点需要成熟的评估流程。
各厂商在描述检测引擎时广泛使用"AI"这一概念，却没有明确说明应用范围和具体技术，使对不同机器学习异常检测解决方案的竞争性评估和基准化分析变得更加复杂。
企业内部机器学习专业知识有限，阻碍了对这些工具全部潜能的理解，并难以将其集成到现有的安全工作流和遗留基础设施中。