开源 AI 赋能测试技术架构方案

[二、数据 & 存储层（开源，RAG 核心）](#二、数据 & 存储层（开源，RAG 核心）)

[三、AI 模型服务层｜开源 AI 底座（重点）](#三、AI 模型服务层｜开源 AI 底座（重点）)

[3.1 LLM 大模型（文本理解、需求转用例、根因分析）](#3.1 LLM 大模型（文本理解、需求转用例、根因分析）)

[3.2 Code LLM（测试代码、脚本生成：Python、Locust、Selenium、Playwright、pytest）](#3.2 Code LLM（测试代码、脚本生成：Python、Locust、Selenium、Playwright、pytest）)

[3.3 Embedding 向量模型（文本向量化，RAG 检索）](#3.3 Embedding 向量模型（文本向量化，RAG 检索）)

[3.4 多模态 / 辅助模型](#3.4 多模态 / 辅助模型)

[3.5 推理服务框架（统一模型接入，一个接口调度所有模型）](#3.5 推理服务框架（统一模型接入，一个接口调度所有模型）)

[3.6 RAG 编排框架](#3.6 RAG 编排框架)

[四、测试引擎层｜传统开源测试引擎（AI 生成脚本最终交给它们执行）](#四、测试引擎层｜传统开源测试引擎（AI 生成脚本最终交给它们执行）)

[五、AI 应用服务层【测试场景能力】------ 架构价值落地层](#五、AI 应用服务层【测试场景能力】—— 架构价值落地层)

六、接入层

[七、推荐最简落地路线（POC → 生产）](#七、推荐最简落地路线（POC → 生产）)

[POC 版本（低成本，单 GPU 机器就能跑）](#POC 版本（低成本，单 GPU 机器就能跑）)

生产版本架构

八、关键补充组件（开源）

[九、架构图文本版（可直接转 Mermaid）](#九、架构图文本版（可直接转 Mermaid）)

十、风险与优化点（测试架构重点考量）

十一、可选扩展方向

定位：全链路智能化测试平台，底座全部优先开源组件，无闭源大模型强绑定；兼顾自动化测试、测试分析、用例生成、缺陷分析、压测、安全扫描、测试数据治理，适配 DevOps/CI 流水线，适合 QA、测试开发团队落地。

设计思路：分层解耦，AI 能力作为能力插件嵌入原有测试体系，不推翻现有测试资产；支持私有化部署，数据不出内网。

整体架构分层（自上而下）

复制代码

┌─────────────────────────────────────────────────────┐
│ 【接入层】 测试门户 & 流水线入口                     │
│  前端门户、Jenkins/GitLab CI、API、Webhook、IDE插件 │
├─────────────────────────────────────────────────────┤
│ 【AI应用服务层】测试场景化AI能力（核心业务能力）     │
│  用例生成/优化、测试代码生成、缺陷根因分析、日志解析 │
│  测试预言机、风险评估、自动化脚本自愈、测试报告生成 │
├─────────────────────────────────────────────────────┤
│ 【AI模型服务层】开源大模型 & 多模态模型推理底座      │
│  LLM、Code LLM、Embedding、OCR、多模态模型、向量库  │
├─────────────────────────────────────────────────────┤
│ 【测试引擎层】传统开源测试执行引擎                   │
│  接口自动化、UI自动化、性能压测、安全扫描、单元测试  │
├─────────────────────────────────────────────────────┤
│ 【数据&存储层】向量库、业务数据库、测试资产仓库      │
│  测试用例库、缺陷库、日志库、脚本库、测试数据集、埋点│
├─────────────────────────────────────────────────────┤
│ 【基础设施层】K8s/Docker、消息队列、监控、调度组件   │
└─────────────────────────────────────────────────────┘

一、基础设施层（全部开源）

负责调度、容器化、消息、观测，支撑整套平台稳定跑起来

容器编排：Kubernetes + Docker
任务调度：Argo Workflows / Airflow（测试任务编排、定时回归）
消息队列：RabbitMQ / Kafka（日志流、测试事件、AI 异步任务）
可观测：Prometheus + Grafana + Loki（指标、日志）
服务网关：Traefik / Nginx
镜像仓库：Harbor

用途：AI 推理服务弹性扩缩容、批量测试任务并发、异步解耦（AI 生成用例比较耗资源，异步化）

二、数据 & 存储层（开源，RAG 核心）

RAG 是这套 AI 测试架构最重要一环：把历史用例、接口文档、缺陷、日志喂给大模型，避免幻觉

关系库：PostgreSQL（平台元数据、项目、用户、任务记录）
向量数据库（必选）：
- Chroma：轻量，快速原型、本地开发
- Milvus / Qdrant：生产级，大规模测试知识库，推荐 Milvus
对象存储：MinIO（存储截图、HAR 包、报告、录屏、测试附件）
代码 / 资产仓库：Gitea（私有化 Git，存放自动化脚本）
文档索引：可以搭配 Elasticsearch（日志检索、缺陷检索）

知识库入库内容：OpenAPI、Swagger、历史用例、缺陷单、接口协议、需求文档、历史报错日志、业务术语字典

三、AI 模型服务层｜开源 AI 底座（重点）

全部开源，支持本地私有化推理，不需要调用第三方 API；可混合部署小模型 + 代码专用模型

3.1 LLM 大模型（文本理解、需求转用例、根因分析）

优先推荐适合私有化、上下文长、中文友好开源模型：

Qwen（通义千问开源版：Qwen2-7B/14B/72B）：综合能力强，中文好
Llama 3 / Llama 3.1
GLM-4-9B-Chat

3.2 Code LLM（测试代码、脚本生成：Python、Locust、Selenium、Playwright、pytest）

专门生成测试代码，比通用 LLM 效果好很多

CodeLlama
DeepSeek-Coder（强烈推荐，代码能力强）
StarCoder2

3.3 Embedding 向量模型（文本向量化，RAG 检索）

BGE（BGE-large-zh，中文向量首选）
all-MiniLM

3.4 多模态 / 辅助模型

OCR：PaddleOCR（UI 自动化截图文字识别）
图像模型：CLIP（截图对比、UI 差异识别）
语音（可选）：Whisper（如果有语音测试场景）

3.5 推理服务框架（统一模型接入，一个接口调度所有模型）

Ollama（首选原型） ：一行命令拉起所有模型，API 兼容 OpenAI，开发速度极快；适合 POC、小团队 vLLM（生产首选） ：高吞吐、连续批处理，GPU 利用率高，生产环境部署 LLM/CodeLLM Text Generation Inference(TGI)：HuggingFace 官方推理服务

架构建议：POC 阶段直接 Ollama；上生产替换成 vLLM；上层代码几乎不用改，因为都兼容 OpenAI 兼容接口

3.6 RAG 编排框架

LangChain：灵活，自定义链路，适合复杂测试流程
LlamaIndex：文档索引更友好，适合大批量需求文档、接口文档入库

推荐组合：LangChain + Milvus + BGE

四、测试引擎层｜传统开源测试引擎（AI 生成脚本最终交给它们执行）

AI 负责 "写脚本、生成用例"，执行引擎负责跑，产出结果

接口自动化：pytest + Requests + HttpRunner
UI Web 自动化：Playwright（AI 识别页面元素、生成定位器）
App 自动化：Appium
性能压测：Locust（你在用，AI 自动生成 Locust 压测脚本、自动构造并发模型）
单元测试：pytest
安全测试：OWASP ZAP（AI 自动解析 ZAP 报告，提炼风险）
混沌工程：Chaos Mesh（故障注入，AI 辅助故障场景生成）
接口契约：Schemathesis（基于 OpenAPI 自动 fuzz）

五、AI 应用服务层【测试场景能力】------ 架构价值落地层

基于上面模型 + RAG + 测试引擎封装场景 API，给上层门户调用

✅ 需求 / PRD → 测试点、测试用例生成 & 等价类、边界值自动推导 RAG 检索同模块历史用例，生成符合团队规范用例，支持输出 Markdown、TestLink 格式
✅ OpenAPI/Swagger 自动生成接口用例、自动化脚本（pytest、HttpRunner）
✅ AI 自愈自动化脚本：元素变更、接口字段变更后，自动重新识别定位器、修复脚本
✅ 缺陷根因分析：输入报错堆栈、日志、接口返回，检索历史相似缺陷，给出根因和修复建议
✅ 日志智能清洗 & 异常识别：Loki 日志送入 LLM，过滤噪音，标记异常
✅ 压测智能分析：Locust 压测结果、时序指标交给 LLM，自动生成压测结论、瓶颈分析
✅ 测试风险评估：输入需求变更清单，评估回归范围（变更影响分析，高价值）
✅ 测试预言机（Oracle）：AI 判断接口返回是否符合业务预期，解决复杂返回校验难问题
✅ 自动生成测试报告：汇总执行结果，生成分析报告、风险摘要
✅ 模糊测试用例生成：给 Schemathesis/ZAP 生成 fuzz payload

六、接入层

Web 门户：可以用 Streamlit 快速搭 POC 门户；生产可以 React + FastAPI
CI 对接：Jenkins、GitLab CI、Gitea Actions
IDE 插件：OpenAI 兼容接口 → 支持 Cursor、Continue（VS Code 开源 AI 插件），开发人员在 IDE 内直接生成测试代码
Webhook：接收代码提交、需求变更、缺陷新增事件，自动触发 AI 任务

七、推荐最简落地路线（POC → 生产）

POC 版本（低成本，单 GPU 机器就能跑）

Ollama + Qwen2 + DeepSeek-Coder + LangChain + Chroma + Playwright/pytest + Streamlit

适合快速验证：需求生成用例、OpenAPI 生成接口脚本

生产版本架构

vLLM + Qwen2-14B + DeepSeek-Coder-V2 + LangChain + Milvus + Postgres + MinIO + Argo + Locust + Playwright + FastAPI + K8s

八、关键补充组件（开源）

提示词管理：PromptFoo ------ 评估不同模型、不同提示词在测试场景下效果，做 A/B 对比，防止大模型效果退化（非常适合测试 AI 本身）
模型评估：EvalPlus ------ 评估 Code 模型生成测试代码通过率
权限 & 用户：Keycloak（开源身份认证）
测试管理替代：如果不想上商业 TestLink，用TestRail 替代开源：Kiwi TCMS，可对接 AI 生成用例

九、架构图文本版（可直接转 Mermaid）

复制代码

flowchart TD
    A[接入层<br/>Streamlit门户 / GitLabCI / Jenkins / VSCode Continue] --> B[AI应用服务<br/>FastAPI服务集群]
    B --> C[LangChain RAG编排]
    C --> D1[vLLM推理服务<br/>Qwen2 / DeepSeek-Coder]
    C --> D2[Embedding模型 BGE]
    C --> D3[PaddleOCR/CLIP]
    D1 --> E[向量库 Milvus]
    D2 --> E
    B --> F[测试引擎集群<br/>Playwright / pytest / Locust / ZAP]
    F --> G[存储层<br/>PostgreSQL + MinIO + Loki]
    E --> G
    F --> H[Argo Workflow + Kafka]
    H --> I[K8s基础设施]

十、风险与优化点（测试架构重点考量）

大模型幻觉：强依赖 RAG，所有生成结果必须关联知识库来源；增加人工审核节点
AI 生成脚本质量：PromptFoo 持续评估；EvalPlus 做代码通过率评估；脚本生成后先做静态扫描
GPU 资源压力：模型分层，简单任务用 7B 小模型；长复杂任务排队；vLLM 动态批处理
数据安全：私有化部署、模型本地推理，不上传业务需求、接口报文到公网模型
存量资产：第一步先把存量用例、缺陷、API 文档批量向量化入库，这是效果上限

十一、可选扩展方向

多模态测试：上传截图，AI 识别页面元素、对比 UI 差异
移动端截图自动化
智能巡检：线上流量录制（mitmproxy 开源），AI 从真实流量自动生成测试用例
测试虚拟用户：AI 驱动会话式业务流，模拟真实用户随机操作