大模型评估测试题库，不是把几百道测试题汇总到一起，也不是把敏感词、拒答题、业务问答混成一个附件就完事。对需要做大模型备案、上线登记、安全评估或内部审查的企业来说，这套题库本质上是一套证明材料------它要证明模型清楚什么可以答、什么不能答、什么要谨慎答、什么必须拒答，并且在真实业务场景里能保持稳定、可控、可追溯。
从监管角度看，生成式人工智能服务涉及训练数据来源、规模、类型、标注规则、算法机制、安全评估、投诉举报、内容标识等多个环节，制度要求提供者在安全评估和监督检查中对这些内容做出说明。所以评估题库不是一份孤立材料，它连接的是模型能力说明、安全风险控制、测试结果证明、整改闭环记录这四条线，是整个证明链条的核心载体。
一、先明确题库定位：它要证明3件事
一套合格的评估题库，至少要回答三个层面的问题。
**能不能守住安全底线。**面对违法违规、暴力恐怖、淫秽色情、歧视偏见、个人信息泄露、违法交易、规避监管等输入，模型能不能稳定拒答、转向安全提示，或输出合规内容------这是最基本的要求。
**能不能撑住业务场景。**在企业设定的服务范围内，模型能不能正确理解用户意图，给出准确、稳定、可解释、可复核的内容，而不是答非所问、随意编造或越权承诺。
**能不能持续管得住。**企业能不能通过测试记录、问题分级、整改措施、复测结果、版本编号，说明模型上线不是一次性动作，而是一个持续管理的过程。
| 题库作用 | 具体证明内容 | 对应材料 |
|---|---|---|
| 安全证明 | 模型对高风险问题具备拒答和防扩散能力 | 安全测试题库、拒答测试记录 |
| 能力证明 | 模型在业务场景内具备稳定输出能力 | 业务测试题库、准确性评分表 |
| 边界证明 | 模型不会越权、误导、承诺不可控事项 | 边界测试题、服务范围说明 |
| 闭环证明 | 问题可发现、可整改、可复测、可留痕 | 整改记录、版本台账 |
二、再做场景识别：不要脱离产品建题库
不少企业拿到题库任务，第一反应是找一份通用模板往上套。快是快了，但问题也很明显：题目跟产品对不上、风险维度有遗漏、测试结论撑不起备案材料。
题库建设应该从产品服务场景出发，而不是从"题目数量"出发。智能客服大模型、营销文案大模型、行业研究大模型、文生图模型、文生视频模型------测试重点完全不同。
比如智能客服类模型，得重点测业务边界、误导性回复、虚假承诺、投诉处理、个人信息保护；行业研究类模型，要盯事实准确性、引用可靠性、结论审慎性、敏感行业的表达分寸；情感陪伴类模型，绕不开未成年人保护、心理风险、依赖诱导、极端情绪干预；文生图和文生视频模型，则要关注违法内容生成、肖像侵权、版权风险、深度合成标识。
三、建立风险分类：建议采用"5类风险框架"
题库建设的核心环节，是先把风险分类理清楚。分类不清晰，后面的题目编制、评分标准、整改记录都缺少根基。
建议把评估题库划分为五类风险：
1. 内容安全风险------模型会不会生成违法违规、低俗色情、暴力恐怖、极端仇恨、歧视偏见、虚假有害、危害公共秩序的内容。
2. 数据与隐私风险------模型会不会诱导收集个人信息、泄露用户数据、输出疑似训练数据、暴露商业秘密、给出个人敏感信息处理建议。
3. 业务合规风险------模型会不会超出服务范围、作出不当承诺、替代专业资质判断，在金融医疗法律政务等高风险领域输出不审慎结论。
4. 生成质量风险------模型有没有幻觉、事实错误、逻辑矛盾、引用虚构、数据编造、前后不一致等毛病。
5. 对抗滥用风险------面对提示词注入、角色扮演、拆分提问、诱导输出、异常字符输入，模型还能不能守住安全边界。
| 风险类别 | 测试重点 | 常见问题 |
|---|---|---|
| 内容安全风险 | 是否输出违法违规内容 | 拒答不稳定、解释过多 |
| 数据与隐私风险 | 是否泄露或诱导收集信息 | 输出手机号、身份证、账号信息 |
| 业务合规风险 | 是否越权提供结论 | 承诺收益、诊断病情、出具法律结论 |
| 生成质量风险 | 是否准确、可靠、可解释 | 编造事实、虚构引用 |
| 对抗滥用风险 | 是否被绕过安全策略 | 角色扮演绕过、提示词注入 |
四、设置测试维度：每类风险至少对应4项测试
风险分类确定后，需要进一步拆成可执行的测试维度。所谓测试维度，就是题库里的"分类标签"，它决定题目怎么归类、结果怎么统计、问题怎么整改。
拿内容安全风险来说，至少拆成4项：违法违规内容、低俗色情内容、暴力极端内容、歧视偏见内容。数据与隐私风险可以拆成：个人信息输出、个人信息收集、商业秘密泄露、训练数据复现。业务合规风险拆成：超范围服务、专业资质替代、虚假承诺、敏感行业误导。
这一步的关键不在分类有多细，而在每个分类能被测试、能被统计、能被整改。只写一个"内容安全测试"，不区分到底测的是低俗、暴力还是个人信息泄露，后面就很难做出有说服力的测试报告。
五、确定样本来源：测试题不是凭空编出来的
样本来源直接决定题库质量。靠人工随意编题，或者直接搬网络公开题库不做适配，都不靠谱。比较稳妥的做法是"4类来源组合"。
**来源一：监管与标准要求转化。**把安全要求、内容标识要求、投诉举报要求、服务透明度要求转化为测试题。生成式人工智能相关制度已经明确了安全评估、算法备案、投诉举报、内容标识等要求，安全基本要求也提出了关键词库、生成内容测试题库、拒答测试题库等具体内容，这些都可以直接转化为测试样本。
**来源二：真实业务场景抽样。**从用户高频问题、客服记录、产品功能、业务规则、合同服务范围、知识库内容中提取业务类测试样本。
**来源三：历史风险问题沉淀。**内测中发现的错误回答、用户投诉、内容审核命中记录、异常日志、人工复核记录，都可以转化为题库样本。
**来源四：对抗样本构造。**围绕提示词注入、伪装身份、拆分提问、多轮诱导、谐音变体、错别字、异常符号等方式构造安全测试样本。
六、设计题目结构：每一道题都要可判定
题库不能只存"问题"。如果只有问题文本，没有测试目的、风险类型、预期结果、判定标准，后面根本做不出有效的测试报告。
每道测试题建议至少包含8个字段：
| 字段 | 说明 |
|---|---|
| 题目编号 | 用于版本管理和问题追踪 |
| 风险类型 | 对应5类风险框架 |
| 测试维度 | 对应具体子类 |
| 输入问题 | 模拟用户真实输入 |
| 测试目的 | 说明为什么测这道题 |
| 预期结果 | 明确应答、拒答、转向提示或补充说明 |
| 判定标准 | 通过、部分通过、不通过 |
| 测试记录 | 实际输出、测试时间、模型版本、整改状态 |
七、安全类题库：重点证明"不能答的能拒答"
安全类题库是评估测试中最基础也最核心的部分。它看的不是模型有多"聪明"，而是模型在高风险输入下能不能稳住底线。
通常包括这些方向：违法违规内容、暴力恐怖内容、淫秽色情内容、赌博诈骗内容、毒品违禁品内容、仇恨歧视内容、个人信息泄露、违法交易、规避监管、未成年人不适宜内容等。
**注意：**企业内部题库可以保留完整样本，外部展示材料做脱敏处理，只展示分类、数量、通过率和整改情况。
安全类题库的合格标准，通常不是"模型完全不回应"，而是"拒答方向正确、拒答理由审慎、不补充有害细节、不提供替代路径、不诱导继续追问"。
八、业务类题库：重点证明"该答的能答准"
业务类题库解决的是另一个问题：模型不能只会拒答，还得在企业服务范围内稳定提供价值。
业务题库应该围绕产品说明、服务范围、知识库资料、业务流程、用户常见问题来设计。比如企业服务类大模型，至少要测产品介绍、功能说明、价格规则、服务流程、售后规则、投诉渠道、边界说明。行业研究类大模型，则要测行业分析、企业信息分析、竞品比较、市场趋势、报告生成、结论审慎性。
判定重点有4项：
事实是否准确------有没有编造数据、张冠李戴。
逻辑是否完整------推理链条断没断、有没有自相矛盾。
表述是否审慎------尤其在高风险行业，不能把"辅助分析"说成"确定结论"，不能把"参考建议"说成"专业意见"，不能把"可能趋势"说成"必然结果"。
是否超出服务边界------有没有越俎代庖、替用户做不该做的决定。
九、边界类题库：重点证明"不会越权"
边界类测试是很多企业容易跳过的部分。模型在一般问答中可能表现不错，但用户一旦提出"帮我直接判断""替我承诺""绕过流程""不要提示风险"这类要求，就容易翻车。
边界类题库应重点覆盖5个方向：服务范围边界、专业资质边界、责任承诺边界、数据访问边界、用户身份边界。
举几个例子：智能客服模型不能承诺人工无法确认的办理结果；营销文案模型不能生成违法宣传内容；行业研究模型不能输出确定性投资建议；医疗健康模型不能替代医生诊断；法律咨询模型不能直接替代律师出具法律意见。
十、对抗类题库：重点证明"绕不过去"
对抗类测试不是为了为难模型，而是验证安全策略的鲁棒性。真实用户不会总是用标准方式提问，很多风险输入会通过谐音、拆分、多轮对话、角色扮演、代码化、外语化、错别字、图片文字等形式出现。
对抗类题库至少覆盖4类样本：提示词注入样本、角色扮演样本、多轮诱导样本、变体绕过样本。
测试时要重点盯3个结果：模型有没有识别出风险意图，有没有拒绝执行危险指令，在多轮对话中能不能保持一致的安全边界。如果模型第一轮拒答、第二轮被诱导后输出了有害内容------仍然算安全缺陷。
十一、确定题库规模：不是越多越好，而是覆盖充分
题库规模要跟模型服务范围、用户规模、风险等级、上线范围匹配。初始评估题库不宜太小，否则撑不起结论；也不必盲目堆到几万条，测试质量、判定标准、整改效率都会跟着往下掉。
从实务角度看，初始评估题库可以按"安全类、业务类、边界类、对抗类、质量类"做比例配置。安全类和边界类占较高比例，业务类根据产品复杂度扩展，对抗类用于检验极端输入下的稳定性。
建议至少建3套题库：
基础测试题库------用于常规评估。
上线前专项测试题库------用于备案或正式发布前的验证。
版本更新回归测试题库------用于模型更新、提示词调整、知识库更新后的复测。
十二、执行测试：必须记录模型版本和测试环境
测试执行阶段，最容易忽略的是版本留痕。大模型测试结果必须对应具体模型版本、提示词版本、知识库版本、审核策略版本和测试时间。只记"通过率"不记版本，模型一更新就说不清测试结果是否还成立。
测试记录至少要包含5类信息：测试日期、测试人员、模型版本、测试环境、实际输出。对不通过的样本，还要记问题类型、问题等级、原因分析、整改措施和复测结果。
如果模型接入了输入审核、输出审核、关键词库、拒答策略、内容标识、日志留存等机制，测试记录里要体现这些机制的触发情况。人工智能生成合成内容标识制度已经明确，标识覆盖文本、图片、音频、视频、虚拟场景，分显式标识和隐式标识。所以不同模态的测试，还要关注标识是否准确添加、是否可见、是否可追溯。
十三、结果判定：建议采用"三档结论"
测试结果不建议只写"通过/不通过"两档，三档结论更实用。
| 结论 | 判定标准 |
|---|---|
| 通过 | 模型输出符合预期，没有明显安全、事实、边界或合规问题 |
| 部分通过 | 总体方向正确，但表达不够审慎、提示不够充分、事实细节不完整、拒答理由不清晰 |
| 不通过 | 模型输出违法违规内容、明显错误事实、越权承诺、敏感信息、危险操作路径，或在对抗输入下被绕过 |
三档结论能帮企业区分问题严重程度，形成整改优先级。"不通过"的立即进入整改复测；"部分通过"的按风险等级纳入优化计划；"通过"的也别放一边，模型版本更新后要做抽样回归测试。
十四、整改复测：题库建设必须形成闭环
没有整改复测的题库，只能证明企业发现过问题，不能证明企业解决了问题。
整改闭环至少包括4个动作：问题归因、策略调整、复测验证、版本留存。
问题归因要判断是模型能力问题、提示词问题、知识库问题、审核规则问题，还是业务规则表达不清。策略调整可以是更新系统提示词、补充拒答规则、完善关键词库、调整输出审核策略、修订知识库内容、增加边界提示等。复测验证要用原题和变体题同时测，避免只针对单个问题做表面修补。
十五、版本管理：题库本身也要持续更新
大模型上线后，题库不能停留在备案前版本。模型更新、知识库更新、业务范围调整、用户群体变化、投诉举报增加、监管规则变化------任何一个变动都可能导致原有题库不再充分。
建议建立题库版本台账，至少记录5项内容：题库版本号、更新时间、更新原因、新增题目数量、删除或调整题目数量。重大版本更新应同步开展回归测试，把测试结果纳入模型安全管理档案。
更新频率可以根据风险等级定。低风险内部辅助工具按季度更新就行；面向公众开放的大模型服务，建议按月度或版本更新节点维护题库；涉及未成年人、金融、医疗、政务、公共服务等场景的模型，应当提高更新频率和复测比例。
十六、常见问题：很多题库不合格，原因集中在5点
**1. 只有题目，没有分类。**审核人员看不出测试覆盖了哪些风险。
**2. 只有问题，没有预期结果。**测试人员没法客观判定输出是否合格。
**3. 只有通过率，没有原始记录。**材料无法证明测试过程真实发生过。
**4. 只有安全题，没有业务题。**模型安全性和可用性无法同时证明。
**5. 只有初测，没有复测。**发现问题后没有形成整改闭环。
这些问题表面看是材料不规范，实质上是证明链不完整。大模型评估测试题库不是"附件"，而是证明模型安全能力、服务边界、风险治理和持续管理能力的核心证据。
十七、建议形成的6份交付材料
企业建设评估测试题库后，建议同步形成6份材料：
| 序号 | 材料名称 | 覆盖内容 |
|---|---|---|
| 1 | 分类表 | 题库总体分类、题目数量、覆盖风险 |
| 2 | 安全类测试题库 | 违法违规、低俗色情、暴力恐怖、个人信息、歧视偏见等 |
| 3 | 业务场景测试题库 | 产品功能、业务流程、服务范围、知识库问答 |
| 4 | 边界与拒答测试题库 | 越权承诺、专业判断、敏感行业、用户诱导 |
| 5 | 测试执行记录表 | 实际输入、实际输出、测试结论、模型版本、测试时间 |
| 6 | 整改复测记录表 | 问题原因、整改动作、复测结果、版本变化、最终结论 |
把"模型可控"变成证据
大模型评估测试题库建设，不能停留在"凑题目、跑测试、算通过率"的层面。真正有效的题库，要把模型安全能力拆成风险分类，把风险分类转化为测试维度，把测试维度落实为样本题目，把样本题目沉淀为测试记录，再通过整改复测形成闭环证据。
对正在准备大模型备案、上线登记或安全评估的企业来说，题库建设越早介入，后续整改成本越低。等到材料提交前才临时补题库，往往暴露三个问题：风险分类不完整、测试记录不充分、整改链条不成立。