安全专家预计，随着各组织将基于代理和生成式的模型嵌入到核心运营中，人工智能系统将在 2026 年带来新的网络风险，从而将攻击面扩展到传统基础设施之外。
自主大型语言模型 (LLM) 工具的快速推出将考验现有的治理，攻击者会同时攻击模型及其控制的系统。
智能体人工智能
消费者和企业对运营技术 (OT) 的使用，为人工智能代理如何迅速渗透到日常生活和业务流程中提供了一个模板。
将此与摄像头和恒温器等联网设备进行了类比，这些设备在短时间内从小众部署发展到大规模使用，现在已成为网络攻击的常见目标。
预计在未来一年内，自主或半自主的"智能体"人工智能将被集成到各种工具和服务中，涵盖日常任务和复杂的决策制定。
从摄像头到恒温器，OT（运营技术）进入我们家庭和企业的速度可以用天来衡量，而不是用年或十年。虽然包括电力、电视、广播甚至互联网在内的其他技术普及速度都远不及智能体人工智能，但智能体人工智能有望在2026年以同样快的速度主导我们的生活。明年，我们使用的几乎所有技术都将与智能体人工智能连接，并声称能够带来从预订旅行到优化室内温度等各种好处。虽然有些说法可能确实有效，但另一些则只是空头支票，甚至会使情况变得更糟。悲观地看，由于权限过高、代理问题混乱以及在典型的安全设计流程中普遍缺乏防护措施，智能体人工智能的快速部署将导致大量的攻击途径、安全漏洞和新的安全隐患。智能体人工智能的快速普及将反映出网络安全被忽视，最终，用户群体将因快速普及和威胁而遭受损失。
安全团队担心，基于代理的系统可以触发多个应用程序的操作，并且默认情况下可能会被授予广泛的权限，这使得任何漏洞造成的损害都更大。
评论反映了关于人工智能服务安全设计原则的更广泛辩论，以及当允许模型在未经人工审查的情况下发起更改时所需的监督水平。
模型曝光
在企业环境中使用生成式人工智能会产生一种不同的风险，因为模型本身会成为攻击者的入口点。
预计各组织将在安全运营、客户互动和软件开发中扩大 AI 部署，从而增加对内部托管和通过外部提供商托管的 LLM 的依赖。
提示注入和数据投毒等技术可以让攻击者改变模型的行为，而且可能不会在底层基础设施或网络上留下任何痕迹。
随着企业将生成式人工智能嵌入到从客户服务到威胁搜寻的各个环节，模型本身也成为了攻击面。到2026年，攻击者将利用提示注入（即在文本、代码或文档中插入隐藏指令以操纵人工智能系统的输出）和数据投毒（即利用损坏的数据来影响或破坏训练集）等攻击手段。这些攻击模糊了漏洞和虚假信息之间的界限，使攻击者能够在不触及组织基础设施的情况下破坏其逻辑。由于许多生命周期模型（LLM）通过第三方API运行，单个被投毒的数据集可以传播到数千个应用程序中。传统的补丁程序无法提供防御；必须持续维护模型的完整性。首席信息安全官（CISO）必须将人工智能模型视为关键资产。这意味着要保护整个生命周期，从数据来源和训练治理到运行时验证和输出过滤。持续的模型红队演练、零信任数据流以及对人工智能行为的明确问责制将成为标准做法。
安全研究人员警告说，组织经常依赖外部训练数据或第三方集成，而无法完全了解其来源，这可能会使检测和修复投毒攻击的工作变得更加复杂。
供应商和监管机构也在研究如何在企业结构中分配人工智能决策的责任，尤其是在金融或医疗保健等受监管行业中使用系统的情况下。
治理重点
从基于边界的防御转向人工智能系统治理的趋势，包括访问控制、监控以及为自动化工具设定明确的操作边界。
对"过度权限"的警告与身份和访问管理中最小权限模型和即时访问的趋势相一致，许多公司现在正将这些模型应用于机器身份以及人类用户。
需要对人工智能的整个生命周期进行管理，从初始数据收集到部署和持续测试，并指出持续验证对于保持对输出结果的信任至关重要。