如何评估云原生GenAI应用开发中的安全风险(上)

人工智能(AI)是一个快速发展的领域,具有改善和改变社会各方面的潜力。到 2023 年,随着强大基础模型(FMs)的发展以及由此带来的生成式 AI 能力的提升,AI 技术的应用速度进一步加快。

在亚马逊云科技,我们推出了多个生成式 AI 服务,例如 Amazon Bedrock 和 Amazon CodeWhisperer,并通过 Amazon SageMaker JumpStart 提供了一系列高性能的生成式模型。这些服务旨在帮助客户充分利用生成式 AI 的新兴能力,包括增强创造力、个性化和动态内容生成以及创新设计。此外,它们还可以帮助 AI 从业者以前所未有的方式理解世界,例如解决语言障碍、应对气候变化、加速科学发现等。

然而,为了充分发挥生成式 AI 的潜力,慎重考虑潜在风险至关重要。首先,这可以确保 AI 系统的相关方能够安全、负责任地开发和部署 AI,并鼓励采取主动措施来应对可能的影响。因此,建立评估和管理风险的机制是 AI 从业者需要考虑的重要过程,并且这一过程已经成为许多新兴 AI 行业标准(例如 ISO 42001、ISO 23894 和 NIST RMF)以及立法(如欧盟 AI 法案)的核心组成部分。在本文中,我们将探讨如何评估 AI 系统的潜在风险。

不同层级的风险是什么?

尽管从单个机器学习(ML)模型及其相关风险的角度出发可能更为直接,但重要的是要考虑该模型的具体应用场景及其相应的用例,作为完整 AI 系统的一部分。事实上,一个典型的 AI 系统可能依赖多个不同的 ML 模型协同工作,并且一个组织可能会构建多个 AI 系统。因此,可以针对每个用例以及不同层级进行风险评估,包括模型风险、AI 系统风险和企业风险。

企业风险涵盖组织可能面临的广泛风险,包括财务、运营和战略风险。AI 系统风险侧重于 AI 系统的实施和运行所带来的影响,而 ML 模型风险则专注于 ML 模型固有的漏洞和不确定性。

在本文中,我们主要关注 AI 系统风险。但需要注意的是,组织内的所有不同层级的风险管理都应当被纳入考量并保持一致。

如何定义 AI 系统风险?

在 AI 系统的背景下,风险管理可以用来最大程度地减少不确定性或潜在负面影响,同时提供最大化正面影响的机会。风险本身并不是潜在危害,而是指不确定性对目标的影响。根据 NIST 风险管理框架(NIST RMF),风险可以通过事件发生的概率与相应事件的后果大小相乘来估算。

风险包含两个方面:固有风险和剩余风险。固有风险表示在没有任何缓解措施或控制手段的情况下,AI 系统所展现的风险水平。而剩余风险则是在考虑了缓解策略后,仍然存在的风险。

请始终牢记,风险评估是一项以人为本的活动,需要整个组织的协作。这种协作包括确保所有相关方(例如产品、工程、科学、销售和安全团队)都参与评估过程,以及评估社会视角和规范如何影响某些事件的发生概率和后果认知。

以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容,在本篇中我们介绍了在云原生AI应用开发中不同层级的风险,并了解了如何定义AI系统的风险。欢迎大家继续关注小李哥的生成式AI应用安全系列,了解国际前沿的亚马逊云科技解决方案,关注我不要错过未来更多的干货内容!

相关推荐
爱嘿嘿的小黑2 分钟前
宇宙厂学到的思维模型,工作学习必备
前端·人工智能·面试
夏莉莉iy5 分钟前
[ICLR 2025]CBraMod: A Criss-Cross Brain Foundation Model for EEG Decoding
人工智能·python·深度学习·神经网络·机器学习·计算机视觉·transformer
广药门徒9 分钟前
yolo环境 pytorch环境配置 CUDA安装
人工智能·pytorch·yolo
艽掵猫19 分钟前
RCE漏洞
安全
dundunmm28 分钟前
【数据挖掘】KL散度(Kullback-Leibler Divergence, KLD)
人工智能·数据挖掘·聚类·kl散度
巷9551 小时前
KMeans实战——聚类和轮廓系数评估啤酒数据集
人工智能·机器学习
GIS思维1 小时前
AI辅助编程!DeepSeek vs ChatGPT- AI在地图网络分析(最佳路径)上的应用
人工智能·python·chatgpt·arcgis pro·deepseek
大模型铲屎官1 小时前
什么是机器学习?从零基础到自动驾驶案例全解析
人工智能·pytorch·python·深度学习·机器学习·自动驾驶·machine learning
赛卡1 小时前
「自动驾驶背后的数学:从传感器数据到控制指令的函数嵌套」—— 揭秘人工智能中的线性函数、ReLU 与复合函数
人工智能·机器学习·自动驾驶
audyxiao0011 小时前
多元时间序列预测的范式革命:从数据异质性到基准重构
人工智能·大模型·transformer·智能交通