继2024年发布《人工智能安全治理框架1.0》、2025年发布《人工智能安全治理框架2.0》之后，9月14日，网安标委再次更新人工智能安全治理框架。此次更新延续"风险分类、技术应对、综合治理"的核心逻辑，对人工智能安全风险分类、技术应对措施和综合治理措施进行了梳理与优化。
与单纯讨论模型技术能力不同，《框架3.0》更加系统地审视了人工智能从研发、部署到运营、使用的全过程，并将智能体、具身智能、个人信息保护、生成内容溯源等问题纳入安全治理视野。
对于正在开发AI产品、准备开展生成式人工智能服务备案，或者已经上线运营的企业来说，这份文件值得认真研究。
它传递出的一个重要信号是：人工智能安全治理，正在从关注模型本身，进一步延伸到产品功能、应用场景、运营管理与实际使用的全生命周期。
一、AI从"回答问题"走向"执行任务"，安全风险也在发生变化
要理解《框架3.0》的重点，首先要看它对人工智能发展趋势的判断。
文件在前言中指出，随着基础大模型在长程任务规划、长上下文记忆和复杂任务推理等方面不断突破，智能体的任务规划、工具调用和跨应用协作能力持续增强，人工智能应用也正在从"回答问题"向"执行任务"迭代演进。
这意味着，人工智能的安全风险已经不再局限于模型生成了什么内容。
过去，一个AI问答产品出现问题，可能表现为生成错误答案、输出不当内容或者泄露个人信息。而当AI进一步获得联网搜索、文件读写、数据库访问、外部API调用乃至自动执行操作的能力时，风险就可能从内容层面延伸到实际行为层面。
例如，智能体可能因权限设置不当访问不应访问的数据，因外部指令注入偏离原定任务，因调用了存在安全问题的插件而执行异常操作，甚至在没有适当人工干预的情况下造成实际损失。
《框架3.0》对此进行了专门分析，将智能体风险细分为身份和权限滥用、推理规划、调用执行、记忆存储等类型，并提出了相应的技术应对措施。
对于开发智能体产品的企业，这尤其值得重视。一个产品能够完成多少任务，固然体现了它的技术能力；但它能访问什么资源、能够执行哪些操作、发生异常时能否及时停止，同样决定了产品是否具备可控的安全边界。
AI能力越强，企业就越不能只关注"能不能实现"，还必须考虑"应该允许它做什么，以及出现问题后如何及时控制"。
二、从三类安全风险，看懂《框架3.0》的治理思路
《框架3.0》延续了风险分类的整体框架，将人工智能安全风险划分为内生安全风险、应用安全风险和衍生安全风险三个类别。
这三类风险相互关联，共同构成了人工智能安全治理的基本分析框架。
首先是人工智能内生安全风险，主要涉及模型、算法、数据、算力设施与运行环境。
其中既包括模型幻觉、安全机制不可靠、注入攻击和行为偏离预期，也包括算法可解释性不足、算法偏见与歧视、训练数据来源不清、数据投毒以及个人信息泄露等问题。
这意味着，人工智能安全不能只依赖产品上线后的内容审核。模型算法本身的可靠性、训练数据的质量与合法来源、运行环境的安全性，同样是需要考虑的因素。
其次是人工智能应用安全风险。这是与大多数AI产品开发者关系最为直接的一类风险。
《框架3.0》不仅涉及智能体和具身智能安全，还专门讨论了网络安全、信息内容安全、个人信息权益以及现实安全等问题。
例如，模型可能输出违法信息，生成内容可能混淆事实、误导用户，检索增强生成（RAG）应用可能受到知识库投毒影响，AI产品也可能在收集用户交互数据时出现个人信息保护方面的问题。
值得注意的是，文件将知识库、文档库、网页数据源以及智能体记忆模块受到污染所带来的风险纳入分析。这说明，对于依赖外部知识、联网搜索和长期记忆的AI产品，仅仅评估基础模型并不足够，还需要关注应用在实际运行中接触的数据和外部资源。
最后是人工智能衍生安全风险，涉及社会、环境、文化与伦理等更广泛的领域。
其中包括人工智能对劳动就业、教育和现实社交的影响，也包括文化多样性、社会偏见、情感依赖等问题。
对于提供拟人化互动服务的企业而言，《框架3.0》特别关注用户过度依赖、情感操纵以及未成年人身心健康等风险，提出应具备相应的风险预警、情感边界引导和使用时长提醒等安全能力。
从这三类风险可以看出，《框架3.0》并没有将人工智能安全简单理解为模型输出审核，而是把模型、数据、应用、用户权益以及更广泛的社会影响放在一个整体框架中考量。
三、值得AI产品企业重点关注的几个变化
如果结合企业实际开发和运营AI产品的过程来理解，《框架3.0》中有几项内容尤其值得关注。
1. 内容审核需要与产品功能深度结合
信息内容安全仍然是人工智能应用治理的重要组成部分，但文件提出的措施并不止于发现违规内容后进行处理。
《框架3.0》第3.2.4条提出，应对模型输出进行动态过滤，采取技术手段与人工复核相结合的方式，防止生成违法、价值偏差的内容，同时建立应急处置与熔断机制，发现违法信息后及时停止传输并消除影响。
在应用建设部署阶段，第5.2.7条进一步提出，应采用安全护栏等技术手段，识别、拦截违法不良内容和提示词注入攻击，防范输出内容超出业务范围。
这些内容对AI产品开发有着非常实际的参考价值。
企业需要结合自身产品的功能和使用场景，考虑如何识别高风险请求、限制不当输出、处理恶意诱导，以及在安全机制未能有效拦截时如何介入处置。
真正有效的内容安全管理，不能仅仅依赖一份制度文件，也不能只在产品上线前进行一次测试。安全机制还需要能够在实际交互过程中发挥作用，并具备必要的监测、反馈和应急处置能力。
2. 智能体需要建立权限边界和人工干预机制
智能体的安全问题，是《框架3.0》值得重点关注的内容之一。
文件提出，应为智能体赋予唯一身份标识和对应凭证，按照任务需要设置最小权限，在工作流中设置多层检测与拦截点，并在关键节点安排强制人工审批。
同时，对于智能体调用的外部工具、插件和技能等资源，应当验证其安全性与完整性；在运行过程中，还应记录相关操作与处理行为，使智能体行为可感知、可追溯、可审计。
这对AI应用开发企业意味着什么？
如果产品仅提供普通的文字问答功能，所需控制措施与具备自动执行能力的智能体并不相同。后者可能直接调用外部系统、操作文件、处理订单或执行其他任务，因此需要更明确的权限配置、操作限制和异常处置机制。
对于可能产生较大影响的操作，企业应认真考虑是否需要人工确认；对于异常调用，应当具备及时阻断的能力；对于已经执行的操作，则应保留必要的记录，以便事后追溯和分析。
安全治理不是一味限制AI能力，而是让产品具备与自身能力相匹配的控制机制。
3. 生成内容标识与可追溯管理不可忽视
随着生成式人工智能在文字、图片、音频和视频等场景中的应用不断扩大，人工智能生成内容的识别与溯源问题也越来越重要。
《框架3.0》第3.2.4条提出，应对人工智能生成合成内容进行标识，实现可识别、可追溯、可信赖。第5.3.4条则提出，应在人工智能生成内容内添加显式或隐式标识，做好生成合成内容提示和溯源管理。
这并不意味着企业只要在页面上增加一行"内容由AI生成"的文字就足够了。
对于实际提供生成式人工智能服务的产品，企业还需要结合适用的内容标识规则，审视生成内容如何添加标识、不同输出形式如何处理、相关标识如何保留，以及在内容传播和使用过程中如何降低用户误认风险。
特别是具备图片、音视频生成能力，或者能够将生成内容直接发布到其他平台的产品，更应在产品设计阶段考虑标识与溯源问题，而不是等到功能上线后再补充。
4. 用户数据和外部知识来源需要持续管理
AI产品的安全问题，往往也出现在模型以外的数据环节。
《框架3.0》提出，企业应关注训练数据和用户交互数据在收集、存储、使用、加工、传输等各个环节的安全风险，落实数据安全与个人信息保护要求。
对于采用知识库问答、检索增强生成和联网搜索等技术的产品，文件还专门提出，应加强外挂知识库和外部知识来源管理，防范知识库投毒与内容污染，定期检测和清理不当内容，并确保生成内容来源可溯、真实可靠。
这对产品开发者提出了更具体的要求。
一方面，需要明确用户输入的信息如何被收集、保存和使用，防止超范围处理个人信息；另一方面，也需要关注产品引用的外部数据是否可靠，知识库是否存在过期、错误或被恶意篡改的内容。
AI产品的安全边界，不仅取决于模型本身，也取决于它接触什么数据、能够访问哪些资源，以及企业是否拥有持续管理这些资源的能力。
5. 上线不是安全工作的终点
《框架3.0》第5.3节专门提出了人工智能应用运行管理的安全指引。
文件要求建立安全管理和监督机制、运行监测能力与安全事件应急预案，并关注应用更新、升级、微调和功能权限调整带来的风险。
其中，第5.3.6条提出，应记录人工智能应用运行日志，包括系统行为、用户行为等，日志留存时间不少于6个月，并定期对日志记录进行审计。
第5.3.19条则提出，对模型及应用进行更新、升级、微调或调整功能权限时，应对重要变更进行安全评估，确认变更后安全能力不下降，并保留回退能力。
这两项内容尤其值得已经上线运营的AI企业研究。
一个AI产品上线时的功能与风险情况，可能随着模型更换、提示词调整、知识库更新、插件接入、权限变化和用户规模扩大而发生变化。因此，企业需要建立持续性的安全管理机制，而不是将安全评估视为一次性工作。
这里也需要说明：上述内容是《框架3.0》提出的安全指引，具体适用要求仍应结合企业业务类型、现行法律法规、适用标准及主管部门要求综合判断，不能将框架中的每一项表述直接等同于新增的法定义务。
四、对算法备案企业而言，真正需要关注的是什么？
作为长期从事生成式人工智能算法备案服务的机构，我们认为，《框架3.0》值得AI企业关注的地方，不仅在于它列出了哪些安全风险，更在于它系统展示了人工智能安全治理应当如何贯穿研发与应用全过程。
对于正在准备生成式人工智能算法备案的企业，这一点尤其重要。
首先，需要正确理解这份文件的定位。
《框架3.0》不是专门发布的算法备案流程调整通知，也没有宣布算法备案申报条件、办理程序或审核周期发生变化。企业不能仅凭这份文件就推断备案政策出现了新的变化。
但从产品安全建设的角度看，这份文件确实提供了值得参考的治理思路。
按照文件的结构，人工智能安全指引涵盖模型算法研发、应用建设部署、应用运行管理和访问使用四个环节。换句话说，企业不能只关注模型本身，还应结合实际产品的功能、应用场景以及运行方式，识别对应的安全风险。
其次，企业需要关注安全材料与产品实际能力之间的一致性。
在备案准备过程中，企业对产品功能、安全机制和运营管理措施的描述，应当能够与实际产品相互对应。对于企业声称具备的内容审核、风险拦截、用户反馈、应急处置等能力，需要进一步确认这些能力是否已经在产品中落实，以及出现异常时由谁负责处理。
例如，企业如果开发了一款具备联网搜索和知识库问答能力的AI应用，就不能只描述基础模型自身的安全机制，还应当关注外部知识来源、生成内容审核和数据安全管理。
如果产品进一步引入智能体功能，允许AI调用工具或执行任务，那么身份认证、权限控制、人工审批、异常调用拦截和操作日志等问题，也可能成为产品安全建设需要考虑的重点。
最后，企业还应当建立持续运营的意识。
安全合规并不是完成一次备案材料提交就可以一劳永逸。随着产品功能升级、底层模型更换、应用场景扩展以及用户规模变化，企业需要及时重新审视安全风险，并完善相应的管理和技术措施。
对于尚处于产品开发阶段的企业，现在就将安全要求纳入产品设计，通常比产品上线后再进行大规模整改更为合理。
算法备案不应只是材料准备工作，更应成为企业系统梳理产品安全能力、完善合规管理机制的一个契机。
五、从"能够备案"走向"能够安全运营"
回顾《人工智能安全治理框架1.0》《人工智能安全治理框架2.0》到《人工智能安全治理框架3.0》的持续更新，可以看到，人工智能安全治理正在不断回应技术发展带来的新问题。
从模型安全、算法偏见和训练数据管理，到智能体权限、生成内容溯源和全生命周期安全管理，治理视角正在覆盖更多产品形态与应用环节。
对于AI产品企业而言，不能只在申报备案时关注需要提交什么材料，还应当在产品研发、部署、上线和运营的各个阶段，持续审视自身的安全能力。
作为算法备案服务机构，我们在协助客户准备备案材料的同时，也重视产品安全与合规管理功能的梳理，会结合客户的产品形态和业务场景，提供相应的安全合规功能建设建议及文档指导，帮助企业进一步明确需要完善的安全机制与管理流程。
因为我们始终认为，真正有价值的备案服务，不应当只停留在帮助企业完成材料申报，而应当帮助企业更清楚地认识自身产品可能面临的安全风险，并为后续合规运营打好基础。
人工智能技术仍在快速发展，产品形态、应用场景和安全风险也会不断变化。对企业来说，越早建立系统性的安全治理意识，就越有机会将合规要求融入产品设计与运营管理之中。
让AI产品不仅能够落地，更能够安全、稳定、可持续地运行，才是人工智能产业健康发展的重要基础。