如何评估云原生GenAI应用开发中的安全风险(上)

人工智能(AI)是一个快速发展的领域,具有改善和改变社会各方面的潜力。到 2023 年,随着强大基础模型(FMs)的发展以及由此带来的生成式 AI 能力的提升,AI 技术的应用速度进一步加快。

在亚马逊云科技,我们推出了多个生成式 AI 服务,例如 Amazon Bedrock 和 Amazon CodeWhisperer,并通过 Amazon SageMaker JumpStart 提供了一系列高性能的生成式模型。这些服务旨在帮助客户充分利用生成式 AI 的新兴能力,包括增强创造力、个性化和动态内容生成以及创新设计。此外,它们还可以帮助 AI 从业者以前所未有的方式理解世界,例如解决语言障碍、应对气候变化、加速科学发现等。

然而,为了充分发挥生成式 AI 的潜力,慎重考虑潜在风险至关重要。首先,这可以确保 AI 系统的相关方能够安全、负责任地开发和部署 AI,并鼓励采取主动措施来应对可能的影响。因此,建立评估和管理风险的机制是 AI 从业者需要考虑的重要过程,并且这一过程已经成为许多新兴 AI 行业标准(例如 ISO 42001、ISO 23894 和 NIST RMF)以及立法(如欧盟 AI 法案)的核心组成部分。在本文中,我们将探讨如何评估 AI 系统的潜在风险。

不同层级的风险是什么?

尽管从单个机器学习(ML)模型及其相关风险的角度出发可能更为直接,但重要的是要考虑该模型的具体应用场景及其相应的用例,作为完整 AI 系统的一部分。事实上,一个典型的 AI 系统可能依赖多个不同的 ML 模型协同工作,并且一个组织可能会构建多个 AI 系统。因此,可以针对每个用例以及不同层级进行风险评估,包括模型风险、AI 系统风险和企业风险。

企业风险涵盖组织可能面临的广泛风险,包括财务、运营和战略风险。AI 系统风险侧重于 AI 系统的实施和运行所带来的影响,而 ML 模型风险则专注于 ML 模型固有的漏洞和不确定性。

在本文中,我们主要关注 AI 系统风险。但需要注意的是,组织内的所有不同层级的风险管理都应当被纳入考量并保持一致。

如何定义 AI 系统风险?

在 AI 系统的背景下,风险管理可以用来最大程度地减少不确定性或潜在负面影响,同时提供最大化正面影响的机会。风险本身并不是潜在危害,而是指不确定性对目标的影响。根据 NIST 风险管理框架(NIST RMF),风险可以通过事件发生的概率与相应事件的后果大小相乘来估算。

风险包含两个方面:固有风险和剩余风险。固有风险表示在没有任何缓解措施或控制手段的情况下,AI 系统所展现的风险水平。而剩余风险则是在考虑了缓解策略后,仍然存在的风险。

请始终牢记,风险评估是一项以人为本的活动,需要整个组织的协作。这种协作包括确保所有相关方(例如产品、工程、科学、销售和安全团队)都参与评估过程,以及评估社会视角和规范如何影响某些事件的发生概率和后果认知。

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容,在本篇中我们介绍了在云原生AI应用开发中不同层级的风险,并了解了如何定义AI系统的风险。欢迎大家继续关注小李哥的生成式AI应用安全系列,了解国际前沿的亚马逊云科技解决方案,关注我不要错过未来更多的干货内容!

相关推荐
user4465117917914 分钟前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能
烟小栀18 分钟前
Windows下的深度学习环境配置参考及配置教程
人工智能
tellmewhoisi42 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟43 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y1 小时前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
山东科恩光电1 小时前
安全触边在自动化停车场道闸防夹伤保护中的选型安装与日常维护
安全
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮2 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源2 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔2 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭