摘要
AI 系统进入高风险生产环境后，失效常呈长尾与对抗诱导特征，平均指标盖不住这些危险，于是分出防守的 AI 安全与进攻的红队测试。AI 安全用鲁棒性、监控、对齐、系统安全四道防线兜底，红队测试以攻击者视角冲击越狱、提示注入、内容安全三类威胁，把风险变成可比较、可回归的数字，但风险只能降不能除，过了红队也不代表绝对安全。
关键词：AI安全；红队测试；鲁棒性；对齐；越狱；提示注入；HarmBench；评测指标
1 核心定义与安全域划分
1.1 基本概念
AI安全（AI Safety）是防范人工智能系统在开发、部署与运行全生命周期中引发事故、滥用或有害后果的跨学科领域。 事故指模型在无对手介入下因目标误设或分布偏移而偏离设计意图，滥用指恶意行为者刻意利用模型能力造成危害，有害后果指部署外溢到社会层面的系统性风险1。AI安全关注系统会不会违背意图，AI安全防护（AI Security）关注系统能否被非法侵入，二者互补，共同构成完整的AI风险治理视野1。
红队测试源自传统网络安全，指以攻击者视角对目标系统主动对抗探测以暴露缺陷。 在大语言模型语境下，它由人类专家、自动化脚本或具备攻击能力的语言模型发起，通过构造对抗性输入触发失败模式，再把发现反馈到训练与部署形成闭环。Anthropic 更将红队攻击用例公开，累计发布逾 38961 条真实样本供社区分析4。
1.2 四大风险类别
机器学习安全可分为四个相互嵌套的类别，类似安全工程的"瑞士奶酪模型"------多层防御叠加阻挡单点失效1。表1 给出各类别的关注点、典型问题与防御方向。
| 类别 | 关注点 | 核心目标 | 典型问题 | 防御方向 |
|---|---|---|---|---|
| 鲁棒性 | 抵御危险 | 在分布偏移与对抗扰动下维持稳定表现 | 对抗样本、后门触发、长尾事件崩塌 | 对抗训练、认证防御、OOD 泛化 |
| 监控 | 识别危险 | 运行时持续捕捉异常行为与恶意使用 | 不确定性估计失效、后门潜伏 | 不确定性量化、异常检测、可解释性 |
| 对齐 | 降低模型固有危险 | 让模型实际追求的目标契合设计者意图 | 奖励黑客、欺骗性对齐、奉承倾向 | RLHF、宪法式训练、可扩展监督 |
| 系统安全 | 降低系统性危险 | 处理部署环境与社会条件带来的集体风险 | 攻防失衡、机构决策失灵、逐底竞争 | 网络防御、机构治理、部署前承诺 |
表1 机器学习安全四大类别的关注点与防御方向
四者的逻辑分工可概括为：对齐解决"模型想不想做坏事"，鲁棒性解决"能不能被诱导做坏事"，监控解决"做了能否被发现"，系统安全解决"整个生态会不会被拖垮"1。
1.3 三大威胁向量
大语言模型部署后，攻击者主要从三类通道诱导其越过安全边界，OWASP GenAI Security Project 将前两类纳入 LLM 应用十大风险清单2。表2 汇总三类威胁的攻击原理、典型手段与防御措施。
| 威胁 | 攻击原理 | 典型手段 | 主要危害 | 防御方向 |
|---|---|---|---|---|
| 越狱 | 精心构造输入以使模型完全无视自身安全协议[2](#威胁 攻击原理 典型手段 主要危害 防御方向 越狱 精心构造输入以使模型完全无视自身安全协议[2] 角色扮演、多轮诱导、GCG 梯度搜索后缀[3] 生成武器制造、非法活动指导等有害内容 拒绝方向强化、分类器防御[7] 提示注入 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2] 直接注入、间接注入、目标劫持、信息泄露 操纵 Agent 行为、劫持工具调用、泄露隐私数据 通道隔离、输入输出过滤、权限最小化 内容安全 模型在正常或对抗输入下生成违规有害内容 毒性续写、偏见触发、PII 泄露、训练数据反演 仇恨言论、歧视输出、隐私泄露 内容分类器、输出过滤、人工审核) | 角色扮演、多轮诱导、GCG 梯度搜索后缀[3](#威胁 攻击原理 典型手段 主要危害 防御方向 越狱 精心构造输入以使模型完全无视自身安全协议[2] 角色扮演、多轮诱导、GCG 梯度搜索后缀[3] 生成武器制造、非法活动指导等有害内容 拒绝方向强化、分类器防御[7] 提示注入 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2] 直接注入、间接注入、目标劫持、信息泄露 操纵 Agent 行为、劫持工具调用、泄露隐私数据 通道隔离、输入输出过滤、权限最小化 内容安全 模型在正常或对抗输入下生成违规有害内容 毒性续写、偏见触发、PII 泄露、训练数据反演 仇恨言论、歧视输出、隐私泄露 内容分类器、输出过滤、人工审核) | 生成武器制造、非法活动指导等有害内容 | 拒绝方向强化、分类器防御[7](#威胁 攻击原理 典型手段 主要危害 防御方向 越狱 精心构造输入以使模型完全无视自身安全协议[2] 角色扮演、多轮诱导、GCG 梯度搜索后缀[3] 生成武器制造、非法活动指导等有害内容 拒绝方向强化、分类器防御[7] 提示注入 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2] 直接注入、间接注入、目标劫持、信息泄露 操纵 Agent 行为、劫持工具调用、泄露隐私数据 通道隔离、输入输出过滤、权限最小化 内容安全 模型在正常或对抗输入下生成违规有害内容 毒性续写、偏见触发、PII 泄露、训练数据反演 仇恨言论、歧视输出、隐私泄露 内容分类器、输出过滤、人工审核) |
| 提示注入 | 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2](#威胁 攻击原理 典型手段 主要危害 防御方向 越狱 精心构造输入以使模型完全无视自身安全协议[2] 角色扮演、多轮诱导、GCG 梯度搜索后缀[3] 生成武器制造、非法活动指导等有害内容 拒绝方向强化、分类器防御[7] 提示注入 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2] 直接注入、间接注入、目标劫持、信息泄露 操纵 Agent 行为、劫持工具调用、泄露隐私数据 通道隔离、输入输出过滤、权限最小化 内容安全 模型在正常或对抗输入下生成违规有害内容 毒性续写、偏见触发、PII 泄露、训练数据反演 仇恨言论、歧视输出、隐私泄露 内容分类器、输出过滤、人工审核) | 直接注入、间接注入、目标劫持、信息泄露 | 操纵 Agent 行为、劫持工具调用、泄露隐私数据 | 通道隔离、输入输出过滤、权限最小化 |
| 内容安全 | 模型在正常或对抗输入下生成违规有害内容 | 毒性续写、偏见触发、PII 泄露、训练数据反演 | 仇恨言论、歧视输出、隐私泄露 | 内容分类器、输出过滤、人工审核 |
表2 三大威胁向量的攻击原理与防御方向
概念上，越狱是提示注入的特例------OWASP 将其定义为"使模型忽略安全协议的提示注入形式"2；越狱与提示注入聚焦"绕过策略或夺取控制权"，内容安全聚焦"输出本身的合规性"，三者常在同一攻击链上叠加。提示注入的系统攻防可参见 Prompt注入与防范.md。
2 动机与传统安全评测的局限
传统机器学习评测以平均指标为核心，无法覆盖部署中真实发生的长尾失效与对抗性失效，由此形成系统性安全盲区。 其瓶颈有三。其一，平均指标掩盖重尾风险：普通测试集上表现优异的模型，仍可能在罕见或对抗样本上灾难性失败，而这恰是高后果场景中代价最高的。其二，评测环境与部署环境脱节：静态基准假定无对手介入，真实部署却持续面对试图操纵模型的用户。其三，误以为能力提升自带安全：Anthropic 对 2.7B、13B、52B 三档规模的对比实验显示，RLHF 模型随规模增长确实越来越难被红队攻破，但其他类型模型呈平缓趋势，说明攻击难度并不随规模等比例提升，安全评测必须独立于通用能力评测单独开展4。
在此背景下，AI安全的突破体现为两条主线的合流。第一条是安全研究框架化：Hendrycks 等把零散安全议题收敛为鲁棒性、监控、对齐与系统安全四大类，使安全从口号变成可工程化的目标集合1。第二条是对抗视角引入评测：Perez 等与 Ganguli 等以语言模型辅助生成红队用例，并公开指令、数据与建模细节，证明"用模型发现模型缺陷"在规模化上可行45。两条主线的交汇点即红队测试------它不再是可选的附加环节，而是连接安全研究与生产部署的桥梁。
3 系统化红队测试框架
3.1 红队测试的四步闭环
红队测试并非一次性事件，而是嵌入 AI 开发生命周期的持续对抗循环，可拆解为发现、清单、迭代、报告四个阶段45。整体流程如图1 所示。
#mermaid-svg-KIL4TnhWBtq5r21W{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-KIL4TnhWBtq5r21W .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-KIL4TnhWBtq5r21W .error-icon{fill:#552222;}#mermaid-svg-KIL4TnhWBtq5r21W .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KIL4TnhWBtq5r21W .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KIL4TnhWBtq5r21W .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KIL4TnhWBtq5r21W .marker.cross{stroke:#333333;}#mermaid-svg-KIL4TnhWBtq5r21W svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KIL4TnhWBtq5r21W p{margin:0;}#mermaid-svg-KIL4TnhWBtq5r21W .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KIL4TnhWBtq5r21W .cluster-label text{fill:#333;}#mermaid-svg-KIL4TnhWBtq5r21W .cluster-label span{color:#333;}#mermaid-svg-KIL4TnhWBtq5r21W .cluster-label span p{background-color:transparent;}#mermaid-svg-KIL4TnhWBtq5r21W .label text,#mermaid-svg-KIL4TnhWBtq5r21W span{fill:#333;color:#333;}#mermaid-svg-KIL4TnhWBtq5r21W .node rect,#mermaid-svg-KIL4TnhWBtq5r21W .node circle,#mermaid-svg-KIL4TnhWBtq5r21W .node ellipse,#mermaid-svg-KIL4TnhWBtq5r21W .node polygon,#mermaid-svg-KIL4TnhWBtq5r21W .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KIL4TnhWBtq5r21W .rough-node .label text,#mermaid-svg-KIL4TnhWBtq5r21W .node .label text,#mermaid-svg-KIL4TnhWBtq5r21W .image-shape .label,#mermaid-svg-KIL4TnhWBtq5r21W .icon-shape .label{text-anchor:middle;}#mermaid-svg-KIL4TnhWBtq5r21W .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-KIL4TnhWBtq5r21W .rough-node .label,#mermaid-svg-KIL4TnhWBtq5r21W .node .label,#mermaid-svg-KIL4TnhWBtq5r21W .image-shape .label,#mermaid-svg-KIL4TnhWBtq5r21W .icon-shape .label{text-align:center;}#mermaid-svg-KIL4TnhWBtq5r21W .node.clickable{cursor:pointer;}#mermaid-svg-KIL4TnhWBtq5r21W .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-KIL4TnhWBtq5r21W .arrowheadPath{fill:#333333;}#mermaid-svg-KIL4TnhWBtq5r21W .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KIL4TnhWBtq5r21W .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KIL4TnhWBtq5r21W .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KIL4TnhWBtq5r21W .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-KIL4TnhWBtq5r21W .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KIL4TnhWBtq5r21W .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-KIL4TnhWBtq5r21W .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KIL4TnhWBtq5r21W .cluster text{fill:#333;}#mermaid-svg-KIL4TnhWBtq5r21W .cluster span{color:#333;}#mermaid-svg-KIL4TnhWBtq5r21W div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KIL4TnhWBtq5r21W .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-KIL4TnhWBtq5r21W rect.text{fill:none;stroke-width:0;}#mermaid-svg-KIL4TnhWBtq5r21W .icon-shape,#mermaid-svg-KIL4TnhWBtq5r21W .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-KIL4TnhWBtq5r21W .icon-shape p,#mermaid-svg-KIL4TnhWBtq5r21W .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-KIL4TnhWBtq5r21W .icon-shape .label rect,#mermaid-svg-KIL4TnhWBtq5r21W .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-KIL4TnhWBtq5r21W .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-KIL4TnhWBtq5r21W .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-KIL4TnhWBtq5r21W :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 修复后回归
新攻击手法涌现
1 发现
威胁建模与攻击面枚举
2 清单
风险映射与用例库
3 迭代
自动化与多轮攻击
4 报告
量化评分与修复建议
图1 红队测试的四步闭环流程
第一步为发现阶段，核心是威胁建模与攻击面枚举。 红队需梳理模型的用户角色、输入通道、工具集成、检索数据源与 Agent 权限等所有可能被攻击的入口，明确要保护的资产与对手画像，并预先定义"什么算确认漏洞"。Anthropic 的红队报告指出，威胁模型的清晰度直接决定后续攻击的覆盖效率与发现质量4。
第二步为清单阶段，建立结构化攻击用例库。 包括越狱模板、间接注入载荷、毒性触发语料、偏见探测集与 Agent 场景攻击等；OWASP LLM 十大风险作为覆盖度基线，用以确保每一类风险都有对应的测试项2。
第三步为迭代阶段，以自动化攻击驱动规模化发现。 代表性技术包括：GCG 通过贪心坐标梯度搜索自动生成可迁移的对抗后缀，能从开源模型迁移到 ChatGPT、Claude 等黑盒模型3；Anthropic 的红队语言模型经零样本生成到强化学习，自动产出覆盖不同难度与多样性的测试用例5；微软开源的 PyRIT 进一步把上述攻击编排为模型与平台无关的自动化流水线，用于多模态生成式系统的规模化风险识别8。
第四步为报告阶段，输出可追溯的风险量化与修复建议。 报告需涵盖失败模式分类、每类漏洞的攻击成功率、严重程度分级、可复现的攻击路径、根因分析与防御建议；报告结论回流到训练数据修订、系统提示调整与护栏加固，形成"红队---蓝队---训练"三方协同的持续对抗循环45。
3.2 数据驱动的量化评测指标
红队测试的产出需要转化为可比较、可回归、可追踪的数字，才能作为模型发布与部署的硬性门禁。HarmBench 作为该方向的标准化基准，统一了攻击方法分类、目标行为分类学与量化指标定义，使红队方法与模型防御得以在同一尺度下横向比较6。表3 汇总红队测试中的核心量化指标。
| 指标 | 形式化定义 | 判读方向 |
|---|---|---|
| 攻击成功率 ASR | A S R = # 成功诱导有害输出 # 总攻击样本 ASR = \frac{\#\text{成功诱导有害输出}}{\#\text{总攻击样本}} ASR=#总攻击样本#成功诱导有害输出 | 越低越好 |
| 过度拒绝率 URR | U R R = # 对良性请求的误拒 # 良性测试集 URR = \frac{\#\text{对良性请求的误拒}}{\#\text{良性测试集}} URR=#良性测试集#对良性请求的误拒 | 越低越好 |
| 毒性生成率 TGR | T G R = # 被判为有毒的输出 # 总生成样本 TGR = \frac{\#\text{被判为有毒的输出}}{\#\text{总生成样本}} TGR=#总生成样本#被判为有毒的输出 | 越低越好 |
| 失败检测率 DFR | 在重复采样或分布内--分布外对照实验中统计，无统一闭式公式 | 越高越好 |
表3 红队测试的核心量化指标及其判读方向
在指标之上，工程实践有三个要点。第一，多基准报告而非单点数字 ：不同基准对攻击强度的刻画差异显著，单一基准的优异成绩无法外推为整体安全水平，需在多基准、多温度、多采样下联合报告6。第二，ASR 与 URR 的权衡 ：更严格的拒绝策略压低 ASR 的同时会推高 URR、损害可用性，二者需联合优化而非单边压低6。第三，判官自身的可靠性 ：用 LLM 自动判定攻击是否成功时，判官也可能被对抗样本操纵，需对其校准并做对抗鲁棒性测试6。
4 价值与边界
4.1 标准化与防御验证的双重收益
红队测试的价值体现在两个层面。 在评测标准化层面，HarmBench 以 18 种红队方法对比 33 个目标模型及防御，首次给出跨方法、跨模型的统一量化结论，使"哪个攻击更强、哪个模型更鲁棒"获得可复现的实证答案，并展示了攻防协同迭代的可行性6。在防御验证层面，它已是新型防御上线前的强制环节：Anthropic 的 Constitutional Classifiers 部署前接受超过 3000 小时人类红队，结果显示没有任何攻击报告能在更严格判定阈值下成功回答全部 10 个目标问题，验证了分类器防御对通用越狱的拦截能力7。可见红队测试既是"衡量模型"的尺子，也是"训练防御"的磨刀石。
4.2 主流红队实现方式对比
当前业界的红队测试实现方式呈现手工、半自动、全自动与混合协作并存的格局，表4 从成本、覆盖与可迁移性等维度给出对比。
| 实现方式 | 成本 | 覆盖能力 | 可迁移性 | 代表系统 |
|---|---|---|---|---|
| 人工红队 | 高 | 依赖专家经验，覆盖窄但深 | 低 | Anthropic 红队实践[4](#实现方式 成本 覆盖能力 可迁移性 代表系统 人工红队 高 依赖专家经验，覆盖窄但深 低 Anthropic 红队实践[4] 红队语言模型 中 多样性可扩展 中 Anthropic 红队 LM 方法[5] 梯度优化攻击 中 自动化、可大批量生成 高，可跨模型迁移[3] GCG[3] 混合人机协作 中高 兼顾深度与规模 中高 PyRIT 流水线[8]) |
| 红队语言模型 | 中 | 多样性可扩展 | 中 | Anthropic 红队 LM 方法[5](#实现方式 成本 覆盖能力 可迁移性 代表系统 人工红队 高 依赖专家经验，覆盖窄但深 低 Anthropic 红队实践[4] 红队语言模型 中 多样性可扩展 中 Anthropic 红队 LM 方法[5] 梯度优化攻击 中 自动化、可大批量生成 高，可跨模型迁移[3] GCG[3] 混合人机协作 中高 兼顾深度与规模 中高 PyRIT 流水线[8]) |
| 梯度优化攻击 | 中 | 自动化、可大批量生成 | 高，可跨模型迁移[3](#实现方式 成本 覆盖能力 可迁移性 代表系统 人工红队 高 依赖专家经验，覆盖窄但深 低 Anthropic 红队实践[4] 红队语言模型 中 多样性可扩展 中 Anthropic 红队 LM 方法[5] 梯度优化攻击 中 自动化、可大批量生成 高，可跨模型迁移[3] GCG[3] 混合人机协作 中高 兼顾深度与规模 中高 PyRIT 流水线[8]) | GCG[3](#实现方式 成本 覆盖能力 可迁移性 代表系统 人工红队 高 依赖专家经验，覆盖窄但深 低 Anthropic 红队实践[4] 红队语言模型 中 多样性可扩展 中 Anthropic 红队 LM 方法[5] 梯度优化攻击 中 自动化、可大批量生成 高，可跨模型迁移[3] GCG[3] 混合人机协作 中高 兼顾深度与规模 中高 PyRIT 流水线[8]) |
| 混合人机协作 | 中高 | 兼顾深度与规模 | 中高 | PyRIT 流水线[8](#实现方式 成本 覆盖能力 可迁移性 代表系统 人工红队 高 依赖专家经验，覆盖窄但深 低 Anthropic 红队实践[4] 红队语言模型 中 多样性可扩展 中 Anthropic 红队 LM 方法[5] 梯度优化攻击 中 自动化、可大批量生成 高，可跨模型迁移[3] GCG[3] 混合人机协作 中高 兼顾深度与规模 中高 PyRIT 流水线[8]) |
表4 主流红队测试实现方式对比
4.3 边界------量化风险可降不可除
红队测试的量化结论存在固有边界，使用时需明确三点。第一，通过红队不等于绝对安全 ：红队本质是对失败空间的采样式搜索，未发现漏洞只表示"在当前攻击能力与预算下未发现"，不能作为"模型无风险"的证明。第二，攻防是持续军备竞赛 ：GCG 等自动化攻击已证明其结果可从开源模型迁移到黑盒商用模型3，针对特定模型的结论会随攻击技术演进失效，需持续回归而非一次性认证。第三，防御存在量化成本 ：Constitutional Classifiers 虽显著提升鲁棒性，也带来可观测的过度拒绝代价7，任何防御都需在 ASR 与 URR 间做工程权衡。因此，红队测试的真实定位是把风险降到可量化、可接受阈值的持续工程过程，而非"消除风险"的终点。
总结
AI 安全守、红队测试攻，一个用四道防线让系统别闯祸，一个以攻击者视角反复找它闯祸，再把风险压成能比较、能回归的数字。可风险只降不除，过了红队也不等于绝对安全，安全是持续对抗，而非一劳永逸。
参考文献
1 D. Hendrycks, N. Carlini, J. Schulman, and J. Steinhardt. "Unsolved Problems in ML Safety." arXiv:2109.13916 , 2021.
2 OWASP Foundation. "OWASP Top 10 for LLM Applications v2.0." genai.owasp.org , 2025.
3 A. Zou, Z. Wang, N. Carlini, M. Nasr, J. Z. Kolter, and M. Fredrikson. "Universal and Transferable Adversarial Attacks on Aligned Language Models." arXiv:2307.15043 , 2023.
4 D. Ganguli, L. Hernandez, D. Loveland, et al. "Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned." arXiv:2209.07858 , 2022.
5 E. Perez, S. Huang, F. Song, et al. "Red Teaming Language Models with Language Models." EMNLP , 2022.
6 M. Mazeika, L. Phan, X. Yin, A. Zou, Z. Wang, N. Mu, et al. "HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal." ICML , 2024.
7 M. Sharma, M. Tong, T. Korbak, et al. "Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming." arXiv:2501.18837 , 2025.
8 G. Lopez Munoz, T. Burt, R. Golshan, A. Venzke, and S. Bahl. "Announcing Microsoft's Open Automation Framework to Red Team Generative AI Systems." Microsoft Security Blog, 2024.