文章目录
基座安全
一、大模型训练阶段
(1)训练环境安全风险
- 模型开发工具漏洞
- 训练数据管理系统漏洞
(2)训练环境隔离缺陷
二、大模型部署阶段
(1)利用不安全系统配置
- 环境隔离缺陷
- 云平台多租户隔离失效
(2)CI&CD流程攻击
- 模型部署服务漏洞
- 模型镜像污染
(3)部署环境组件供应链漏洞
- 容器&&集群系统漏洞
- 向量数据库漏洞
- 云平台安全漏洞
三、大模型应用阶段
(1)容器集群环境探测
(2)容器集群环境攻击
- 代码解析器执行逃逸
(3)LLMs拒绝服务&资源耗尽
数据安全
一、大模型训练阶段
(1)内部数据保护缺陷
- 个人隐私数据保护缺陷
- 企业敏感数据保护缺陷
- 机密敏感数据保护缺陷
(2)不正确&恶意外部数据源
- 预训练模型数据偏见
(3)训练数据投毒
- 对话语料投毒
- 训练数据篡改
二、大模型部署阶段
(1)备份数据窃取
(2)数据传输劫持
(3)数据存储服务攻击
(4)日志和审计记录窃取
(5)缓存数据&索引信息窃取
三、大模型应用阶段
(1)元Prompt泄露
- 假定场景泄露
- 假定角色泄露
- 关键字前后定位泄露
(2)模型反演攻击
- 触发模型异常
- 训练数据推导
(3)隐私数据窃取
- 个人隐私数据窃取
- 企业机密数据窃取
(4)模型推理API数据窃取
(5)成员推断攻击
(6)API信息泄露
模型安全
一、大模型训练阶段
(1)模型后门
- 模型序列化后门
- 预训练模型投毒
(2)预训练模型不安全依赖
二、大模型部署阶段
(1)模型文件窃取
(2)模型参数篡改
三、大模型应用阶段
(1)模型越狱攻击
- DAN(Do Anything Now)
- Many-shot越狱
- 假定场景越狱
- 假定角色越狱
- 对抗性后缀攻击
- 概念激活攻击
(2)模型幻觉风险
- 事实性幻觉
- 忠实性幻觉
(3)非合规内容输出
- 虚假信息生成
- 诱导&&不当言论
- 带有偏见、仇恨、歧视或侮辱问题
- 恐怖主义&&带有暴力倾向
- 政治&&军事敏感问题
- 敏感数据泄露
(4)商业违法输出
- 知识产权版权侵犯
(5)模型功能滥用
- 恶意代码生成
- 钓鱼邮件生成
- 图片信息伪造
- 音频信息伪造
- 视频信息伪造
(6)预训练模型信息窃取与攻击
- 预训练模型家族探测
- 预训练模型本体探测
- 代理预训练模型创建
- 对抗样本攻击
(7)数据漂移
应用安全
一、大模型训练阶段
(1)第三方组件漏洞
- 数据处理组件漏洞
- RAG开发框架漏洞
(2)不安全的代码实践
- LLMs插件:不安全输入处理
- LLMs应用传统漏洞风险
- LLMs应用不安全输出处理
- LLMs插件:业务过度代理
二、大模型部署阶段
(1)LLMs应用源代码窃取
(2)LLMs应用源代码投毒
三、大模型应用阶段
(1)Prompt注入
(2)间接Prompt注入
- XSS会话内容劫持
- 环路Agent蠕虫
- 应用对话Memory攻击
(3)业务应用API利用
- SSRF模型环境探测
- 代码执行注入
(4)CoT注入攻击
- 思维链干扰注入
- 思维链操纵注入
(5)关键字混淆
- 同义词替换攻击
(6)对抗编码攻击
(7)反向诱导&抑制攻击
身份安全
一、大模型训练阶段
(1)训练环境缺少认证授权
(2)训练环境过度权限分配
(3)LLMs插件:权限管控设计缺陷
二、大模型部署阶段
(1)滥用部署环境凭据
- 公开服务API密钥利用
(2)向量数据库未授权访问
(3)未授权访问模型部署环境
三、大模型应用阶段
(1)角色逃逸
- 假定场景逃逸
- 假定角色逃逸
- 遗忘法角色逃逸
- Prompt目标劫持
(2)权限管控不当
- 未授权访问模型
- 利用云凭证非法访问云端模型
- 账户越权访问