OWASP TOP 10 LLM 2025 的核心内容：
主要风险概述
-
提示注入 ：攻击者通过精心设计的输入来利用模型中的漏洞，可能危及安全性并提取敏感信息，如在对话式溢出攻击中，攻击者可使模型产生有害响应。
-
敏感信息披露 ：模型可能会无意中泄露训练数据或用户特定数据等敏感信息，尤其是在工作场景中，人们使用 LLM 分享的敏感数据越多，风险越大。
-
供应链漏洞 ：LLM 应用中预训练模型、第三方组件和数据源等存在的安全风险，例如 Ray AI 被入侵事件。
-
数据和模型投毒 ：篡改训练或微调数据会损害模型的行为和安全性，比如在指令微调期间对语言模型进行投毒攻击。
-
不当输出处理 ：模型输出验证和清理不足可能会在承载 LLM 的系统中引入安全风险，如 ChatGPT 插件漏洞可被利用来窃取私人数据。
-
过度代理 ：LLM 被授予超出完成任务所需的最小权限，拥有过多的自主权或影响力，可能导致意外后果，如未经授权的交易或系统配置更改。
-
系统提示泄露 ：系统提示可能包含敏感信息，如访问凭证或应用规则，若暴露，攻击者可利用其绕过安全措施或获得未授权访问。
-
向量和嵌入的弱点 ：与 LLM 处理向量数据相关联的安全风险，例如通过生成式嵌入反演攻击恢复整个句子。
-
虚假信息 ：LLM 能够产生和传播虚假或误导性内容，或帮助大规模传播虚假信息或网络钓鱼活动。
-
无界消耗 ：LLM 未受限制的资源使用可能导致拒绝服务或资源耗尽攻击，使系统性能下降甚至崩溃，还可能增加云服务费用等成本。
防御建议
-
输入验证与清理 ：对用户输入进行严格验证和清理，防止恶意输入注入模型，如使用上下文感知的过滤机制。
-
数据管理 ：确保训练数据和输入数据的准确性和完整性，防止数据投毒，对数据来源进行签名验证等。
-
输出处理 ：对模型输出进行验证和清理，防止敏感信息泄露和虚假信息传播，如进行内容过滤和编码检查。
-
访问控制与权限管理 ：限制模型的权限和访问范围，遵循最小权限原则，避免过度代理带来的风险，实施以人为本的控制机制。
-
安全设计与架构 ：采用安全的设计模式和架构，如零信任架构，对模型和数据进行隔离和保护，使用沙盒技术等。
-
监控与审计 ：实时监控模型的运行状态和输出，及时发现异常行为和潜在威胁，对模型的使用和访问进行审计和记录。
-
模型安全测试 ：定期对模型进行安全评估和测试，如红队测试、对抗性测试等，发现和修复漏洞。
-
用户教育与培训 ：提高用户对 LLM 安全风险的认识，教育用户正确使用 LLM 应用程序，避免因不当使用导致的安全问题。
