今天小李哥将开启全新的技术分享系列，为大家介绍生成式AI的安全解决方案设计方法和最佳实践。近年来，生成式 AI 安全市场正迅速发展。据 IDC 预测，到 2025 年全球 AI 安全解决方案市场规模将突破 200 亿美元，年复合增长率超过 30%，而 Gartner 则预估到 2025 年约 30% 的网络攻击将利用生成式 AI 技术。与此同时，Capgemini 的调查显示，近 74% 的企业认为 AI 驱动的安全防护至关重要，加上 Cybersecurity Ventures 报告指出，与生成式 AI 相关的安全事件年增长率超过 20%，这充分表明企业和安全供应商正面临日益严峻的安全挑战，并加大投入以构建更全面的防护体系。今天要介绍的就是如何设计生成式AI应用安全解决方案，抵御OWASP Top 10攻击。未来也会分享更多的AI安全解决方案，欢迎大家关注。
目前我们生活中有各色各样的生成式 AI应用，常见的场景之一就是生成式AI对话助手。然而在部署之前，通常还要对应用进行评估，其中包括了解安全态势、监控和日志记录、成本跟踪、弹性等问题。在这些评估中，安全性通常是最高优先级。如果存在无法明确识别的安全风险，我们就无法有效解决这些风向，这可能会阻碍生成式AI应用向生产环境部署的进度。
在本文章中，小李哥将向大家展示一个自己设计的生成式应用的真实场景，并演示如何利用 OWASP安全框架，基于大语言模型应用常见的Top 10安全攻击来评估应用的安全态势，以及实施缓解措施。
生成式 AI 范围框架
在我们开始介绍方案前，我们首先要了解生成式AI应用的两种模式，托管和私有化部署。当我们使用亚马逊云科技的生成式AI安全框架，我们要理解适用于我们应用的部署模式以及对应安全控制，和如何利用亚马逊责任共担模型提升应用安全性。例如下图中我们就针对不同的部署模式对应了5个scope范围，Scope 1的"Consumer Apps"类应用中，比如亚马逊的PartyRock或OpenAI的ChatGPT，通常是面向公众的应用，大部分内部安全由服务提供商掌控，大家在安全方面的责任主要在客户端。与此相对的是Scope 4/5层应用，在这类应用中，大家不仅要自行构建和保障生成式AI应用，还需要负责对底层大语言模型进行微调和训练。Scope 4/5应用的安全控制范围会更多、更广，从前端、后端到LLM模型的安全都有涉及。本文将重点讨论Scope 3生成式AI应用的安全解决方案，这是实际应用中较为常见的案例。
下图展示了亚马逊云科技生成式AI安全范围矩阵的5个scope，并总结了各个范围下模型/部署的类型。
针对大语言模型的OWASP Top 10攻击框架
接下来我们将利用OWASP Top 10攻击框架来理解目前生成式AI应用的威胁和缓解措施，OWASP是评估应用安全性最常见的方法之一。针对大语言模型的OWASP Top 10攻击框架专门应用于生成式AI应用，帮助大家发现、理解并防护生成式 AI 所面临的新型威胁。
生成式AI应用安全解决方案设计
接下来，我们从一个完整的生成式AI的应用架构图出发，展示如何对一个典型的生成式AI应用，在OWASP大语言模型威胁框架下进行风险评估。流程图如下图所示。
在这一架构中，用户的API请求通常会经过以下云环境内的系统组件：
身份验证层
这一层主要是验证连接到AI应用的用户的身份。我们通常通过身份提供商（IdP）功能实现，比如 Okta、亚马逊云科技IAM Identity Center或Amazon Cognito。
应用层
这一层包含大部分应用业务逻辑，负责决定如何处理传入应用的用户请求，包括生成AI模型的提示词并处理AI模型返回的响应，之后再将结果返回给终端的用户。
AI模型与代理
AI基础模型是提供生成式AI应用的核心能力，而AI代理则负责协调完成请求所需的各个任务步骤，这些步骤可能同时涉及AI模型调用和从外部数据源获取数据，以及外部API集成。
代理插件控制层
该组件负责与外部数据源和API集成，同时存储着AI代理引用的外部系统组件的逻辑名称和物理名称之间的匹配关系。
RAG知识库数据存储
知识库检索增强生成（RAG）的数据存储通过数据连接器，从对象存储S3、数据仓库、数据库RDS以及其他SaaS应用中提取最新、精准且有权限管理限制下的信息。
我们将大语言模型的OWASP Top 10风险框架应用到到我们云端应用堆栈的各层，可以识别出从用户界面到后端系统的漏洞。下面我们将讨论位于应用堆栈每个层面的风险，并提供一个基于亚马逊云科技的生成式AI应用安全设计方法，以消除这些风险。
下图展示了在亚马逊云科技上实现生成式AI应用的安全最佳实践架构图。下面我会将下图中应用于各层的解决方案依次进行介绍。
身份验证层（Amazon Cognito）
我们生活中一直活跃着常见的网络攻击，如暴力破解攻击、会话劫持和拒绝服务（DoS/DDoS）攻击等。为了解决这些风险和攻击，我们需要在系统方案中实施安全最佳实践，比如多因素认证（MFA）、网页请求速率限制、会话安全管理、会话超时timeout配置以及定期访问令牌轮换。此外，我们还可以部署亚马逊云科技WAF和分布式拒绝服务（DDoS）解决方案AWS Shield等边缘安全措施，帮助我们防护常见的网络攻击，并在攻击期间保持服务可用性。
在上述架构图中，我们将亚马逊云科技WAF与Amazon API Gateway进行了集成，用于过滤和屏蔽恶意的访问请求，从而保护应用免受SQL注入、跨站脚本（XSS）和DoS/DDoS等攻击。亚马逊云科技WAF Bot Control的功能可以进一步提升应用的安全性，通过对机器人等自动化脚本流量的可视性和控制功能，让大家可以屏蔽或对恶意的机器人进行限速和阻挡。该功能可通过亚马逊云科技 Firewall Manager在多个账号间集中管理，从而为应用提供一致而强大的保护。
Amazon Cognito服务更可以增强这些防御措施，该服务主要功能是实现用户身份验证，支持不同种多样的用户池和身份池，使大家能够在不同设备间无缝切换，而使用相同的用户身份授权并与第三方身份提供商集成。Amazon Cognito也提供其他多样化的安全功能包括MFA、OAuth 2.0、OpenID Connect、安全会话管理以及基于用户行为风险的动态调整的身份验证，防止用户未经授权的访问，该动态调整机制可以通过对登录请求中可疑活动的评估，并通过额外的安全措施（如 MFA 或屏蔽登录）进行响应。此外Amazon Cognito还强制防止密码重用，从而进一步降低密码泄露的风险。
亚马逊云科技Shield Advanced则是为了应对复杂的DDoS攻击提供了额外的保护。它与亚马逊云科技WAF集成，通过定制化攻击检测和基于系统健康状况的评估，为我们的AI应用提供全面的边界保护，增强了我们对DDoS攻击的响应能力。Shield Advanced还提供了全天候的客服支持，由亚马逊云科技Shield客服响应团队提供24*7的支持，服务内容包括了DDoS成本保护，确保应用在保持安全的同时安全成本可控。Shield Advanced与亚马逊云科技WAF结合搭配，为生成式AI应用构建了一个既能抵御各种安全共计与威胁，又能保持服务高可用性的安全框架。
以上的安全方案有效解决了两大OWASP常见的安全攻击问题，分别是LLM10:2025不受限制的使用（DoS/DDoS攻击）和LLM02:2025敏感信息泄露的问题（避免web攻击盗取数据），确保应用既具备弹性又安全。