什么是 Jev?在测试领域中可以怎么应用?

最近有个AI热点概念:Jev,一款专门用来做判断的 AI 模型。

它和 ChatGPT、Claude 这类通用大模型不同:不聊天、不写代码文案,专门给程序做决策判断,API 调用后直接返回代码可读取的结构化结果

核心能力:

  • Noul 是非判断:输出 0~1 概率值,做二分类判定。例:校验接口返回是否符合预期。

  • Choice 多选判定:最多支持 255 个自定义选项,选出最优结果并附带置信度,适合 UI 自动化选择页面元素、判断业务分支。

  • Score 分级打分:2~10 档评分,用来评估风险等级、缺陷严重程度这类有强弱差异的场景。

最近有些测试同学对这方面感兴趣,我花时间调研并简单实践了一下,整理了这份**上手教程,以及分享一个UI 自动化方案基于 JEV 改造的案例,**感兴趣的小伙伴可以学习了解下。

实战案例

案例 1:官方 skill & 简单案例实践

如何使用?

1、安装skill

方式 1:Claude Code(推荐)

bash 复制代码
claude plugin marketplace add typesafe-ai/skills
claude plugin install typesafe@typesafe-ai

方式 2:Cursor / Cline / 其他兼容 Agent

bash 复制代码
npx skills add typesafe-ai/skills --skill typesafe-ai

这里我们以 cursor 作为案例,打开终端,输入 y

之后按需选择对应的 agent 即可

之后就生成了 typesafe-ai 了

2、apikey 配置

这里注意的使用官方配置的 apikey,不能使用 openrouter 的

bash 复制代码
export TYPESAFE_API_KEY=xxx

在终端中执行:

3、案例验证

在 cursor 中,输入:

执行过程:

首先是它会利用cursor 自带的浏览器功能,去操作界面,不是每个步骤都会用到 jev 的

那什么情况会用到 jev 呢? 在需要做是非判断、打分、或者选择时

例如:在这个案例中,搜索 raina 测试的时候,可能会搜到很多的用户,就要做判断,因此就用到了 jev 了

可以看到在 cursor 中,它会构建 jev api 命令去做筛选

从多条数据中,筛选出最终的目标,并且输出置信度

最后输出结果,符合预期

案例 2:UI 自动化方案基于 JEV 改造

前面我们有讲到,在测试领域,我们也有不少需要做判断的场景,之前我们一般使用大模型做判断,成本相对高、速度也相对慢一些,这里我们就可以采用 jev 的方式去做改造了

改造思路

之前我们开发过一套 playwright+midscene 双策略进行 UI 自动化的 skill 工作流

在这套 skill 中 有不少过程是需要对多个选项做决策的,而这个就比较符合 jev 的特性,那我们看看有多少内容可以基于 jev 做改造

则有下面的改造

1、探索skill:snapshot 后可选调用 Jev,用于控件选择、下一步动作、计划完备度与 locator 风险判断;

2、修复skill:修复前用 jev 对失败原因做判断,判断大概率属于什么问题,然后采用不同的处理方案

skill 获取方式见文末

实操步骤

1、环境变量配置

创建一个.env文件,填写 jev 的 apikey

2、探索界面

在执行过程中可以看到,部分流程会去调研 jev 进行决策,决定操作哪个元素

最终产出计划文件

这里可以检查一下计划内容,如果没有问题的话,可以进行下一步,生成代码

3、生成代码

输入:

产出代码

4、执行代码
5、修复

出现问题,则走 skill 做修复

这里会使用 jev 判断失败原因,是否能够直接解决

最后多次修复代码,如果没有问题的话,就可以直接查看报告了

6、报告查看

报告列表

执行过程中的视频,可以用于判断是否正确

trace,记录了每步操作的记录

使用下来,jev的对于决策方面是具备一定的优势的,速度快且成本低,效果也相对不错,此前完全依赖于大模型进行推理和判断,而 jev 面向决策任务的专用小模型,但是目前我们还是可以观望一下

也许各大模型厂商会参考 jev 做升级和改造,不过我们还是可以基于自己agent 项目或者 skill 等等需要做决策、判断的逻辑接入 jev。

相关推荐
Raina测试6 小时前
基于 JEV 的 UI 自动化改造实践:从页面探索到失败修复
ai 测试
Raina测试12 天前
开源一个支持多数据源的 MySQL‑MCP
ai 测试
Raina测试15 天前
基于 Playwright codegen + Skills 实现 UI 自动化实战|人工录制省 Token,AI 补全脚本
ai 测试
FunTester1 个月前
AI 测试用例生成总跑偏?六维封装法让 Skill 从“能用“变“好用“
测试用例设计·提示词工程·ai 测试·skill 工程·prompt enginee
Raina测试2 个月前
AI 赋能UI自动化测试:Web / APP / 小程序 / 桌面端全套Skill实践方案.....
ai 测试
Raina测试2 个月前
基于Playwright + Skill的三套UI 自动化实践方案....
ai 测试
测试小罡4 个月前
一套 Skills,搞定需求评审 + 用例生成全流程
ai 测试
oscar9995 个月前
Katalon Studio 11.2.0 发布:AI 对话历史、智能录制器进阶配置与工具链大整合
ai 测试·katalon
顾三殇3 年前
【AI 测试】Linux 查看日志与压测命令:FinalShell 查看 AI 语言大模型问答实时日志与 TTS 压测
linux·人工智能·jmeter·nmon·ai 测试·语言大模型测试