一、K1(记住):需回忆、识别术语/概念,无拓展要求
1 软件测试生成式AI导论
1.1.1 回顾不同类型的AI:符号AI、经典机器学习、深度学习和生成式AI
3 软件测试中生成式AI的风险管理
3.1.1 回顾生成式AI系统中幻觉、推理错误与偏见的定义
3.1.4 回顾用于缓解大语言模型非确定性行为的技术
3.4.1 回顾与软件测试中生成式AI相关的AI法规、标准及最佳实践框架示例
5 在测试机构部署与整合生成式AI
5.1.1 回顾影子AI的风险
5.1.4 回顾测试机构采用生成式人工智能的关键阶段
5.2.2 回顾测试团队培养AI技能的策略,以支持生成式AI在测试活动中的应用
5.2.3 识别(记住层级)组织采用生成式AI时,测试流程与职责的转移
二、K2(理解):需解释、比较、总结、区分,能关联概念并分析逻辑
1 软件测试生成式AI导论
1.1.2 讲解(理解)生成式AI与大型语言模型的基础知识
1.1.3 区分基础型、指令调优型与推理型大语言模型
1.1.4 总结多模态大语言模型与视觉-语言模型的基本原理
1.2.1 举例说明测试任务中关键的LLM能力
1.2.2 比较使用GenAI进行软件测试时的交互模型(AI聊天机器人vs基于LLM的测试应用)
2 有效软件测试的提示工程
2.1.1 列举生成式AI在软件测试中使用的提示结构示例
2.1.2 区分软件测试中核心提示技术(提示链、少样本提示、元提示)
2.1.3 区分系统提示与用户提示
2.3.1 理解评估生成式AI在测试任务中结果的指标(精度、准确率、召回率等)
2.3.2 列举用于评估和迭代优化提示的技术示例
3 软件测试中生成式AI的风险管理
3.1.3 总结软件测试任务中GenAI幻觉、推理错误及偏倚的缓解技术
3.2.1 阐述软件测试中使用生成式人工智能所涉及的关键数据隐私与安全风险
3.2.2 列举软件测试中使用生成式AI时的数据隐私与安全漏洞实例
3.2.3 总结保护数据隐私与增强软件测试生成式AI安全性的缓解策略
3.3.1 阐释任务特征与模型使用对生成式人工智能在软件测试中能耗的影响
4 LLM驱动的软件测试基础设施
4.1.1 说明基于LLM的测试基础设施的关键架构组件与核心概念
4.1.2 总结检索增强生成(RAG)的原理与流程
4.1.3 阐释基于LLM的智能体在自动化测试流程中的作用与应用
4.2.1 阐释针对特定测试任务的语言模型微调的方法与要点
4.2.2 说明LLMOps及其在测试任务中部署和管理LLM的作用
5 在测试机构部署与整合生成式AI
5.1.2 阐明制定软件测试生成式AI策略时需考量的核心要素
5.1.3 总结特定情境下选择LLMs/SLMs进行软件测试任务的关键标准
5.2.1 阐明测试人员在测试流程中有效运用生成式人工智能所需的核心技能与知识领域
三、K3(应用):需将知识落地到实际测试任务,执行操作、选择方法并解决问题
2 有效软件测试的提示工程
2.2.1 将生成式AI应用于测试分析任务(识别测试依据缺陷、生成测试条件、优先级排序等)
2.2.2 将生成式AI应用于测试设计与测试实施任务(生成测试用例、合成测试数据、生成自动化脚本等)
2.2.3 将生成式AI应用于自动化回归测试(脚本创建、影响分析、自愈测试、测试报告分析等)
2.2.4 应用生成式AI于测试监控与测试控制任务(指标分析、测试控制、结果洞察、可视化报告等)
2.2.5 针对特定情境和测试任务选择并应用适宜的提示技巧
3 软件测试中生成式AI的风险管理
3.1.2 识别大语言模型输出中的幻觉、推理错误与偏见(能在实际LLM输出中检测并判定问题类型)