国产Flash大乱斗【1】:DS和MiniMax挺起胸膛!

国产模型 Flash 盛行,DeepSeek,智谱GLM,阿里Qwen,小米Mimo 到底选哪个好?

哪个模型擅长哪种场景?哪个模型性价比最高? 哪个模型又快又好?

我也很想知道,所以我专门做了一个 Flash 系列测试!

具体的测试方法和演示,在上一篇中已经介绍过了!

今天来完整地展示一下第一个测试例子。测试结果让我很意外,中间遇到的问题也很关键。

能力、费用、时间,几乎都和想的不一样!

为了让结果更接近真实情况,我花两天时间跑了 5 轮!

下面先让"美豆哥"Gemini4 给大家打个样:

G4 无论是 SVG 手柄,还是接入手柄控制功能都做得非常不错!

代码健壮性比 Sonnet5.5 弱一些!

我们这个系列的主要的测试对象是:

DeepSeek V4.1 Flash

MiniMax M3.1 Flash

GLM 5.3 Flash

Qwen3.8 Flash

MiMo V2.6 Flash

另外我也会拉一些人来陪练:

K3、GLM5.3、Luna、Haiku!

下面进入正题!

1、测试题目

开始之前,先把题目说清楚。

这次的测试题目是这样的:

复制代码
帮我在网页上画PS手柄,然后支持真实的手柄接入,按相应的按钮,会做出对应的反应。

要考虑到多手柄接入,我最多会接入四个手柄。

核心要求:

1、网页制作漂亮,匹配主题,有设计感

2、手柄轮廓和样式要高度还原

3、要考虑幽灵插槽的问题,能分清楚不同的手柄。

核心考点:网页设计好不好? 手柄画得好不好?4 手柄接入控制逻辑好不好?

第一点还算简单,第二点目前还有点难度,第三点有很多坑特别吃"经验"。

我的环境是:Windows+Chrome+4 个 USB 接入的游戏手柄。

测试智能体统一采用 OpenCode,模型全部来自它的 Go 套餐!

别问为啥不用官方智能体和官方 API,问就是......要单独安装参差不齐的 Agent,要单独去充钱获取 API,这事情搞起来工作量太大了,我其实也没那么闲哈 。

用 Go 套餐是因为里面这几个模型都有,而且几乎免费,而且都配置好了,用 Claude 直接串行或者并行调用 OpenCode 很方便。

这么一来,我只要设计一套测试系统,就可以无限测,你们想测什么就测什么。

2、汇总报告

为了可视化这个报告,我也是烧了好多脑细胞和 tokens!

细节还是挺多,过程非常枯燥。我就直接上结果吧,然后再慢慢分解!

我先给大家在文章里展示一下核心数据,另外我已经把所有细节上传到网站上了!

目前做了三项测试:

我把这些测试都做了汇总!

打开之后立马可以看到关键信息了,比如说这个题目是什么?考察内容是什么?排名是什么?总共测了多少轮?

然后,点击查看多轮汇总,可以查看某项测试的汇总页!

这里面包含了测试题目以及测试截图!

然后下面是具体的测试结果,我们可以正式进入看数据环节。

看到这个结果惊不惊喜?意不意外?

先把压力给到 Opus5.5!

测试题目和标准是我们一起定的,但是具体的评判都是它做的。如果有人不满意,可以去找这个"外国人"。

这个结果也是完全出乎我的意料的!

DeepSeek V4.1 Flash 拿下了中位数第一和最稳定模型的称号。

GLM 5.3 Flash 获得了交付最可靠和有效时间最短称号。

MiniMax 3.1 Flash 在评分上得到了第二名!

MiMo ...

我先不过多评论,我们一项一项来看!

综合评分和中位数:

多轮结果的分布情况:

这两张图结果应该很清楚!不用我说!

完成度情况:

虽然排名有先后,但其实它们完成度都不是太高!

最强的 DS 都没有达到 6 分。如果按我们考试的标准,6 分是及格的话,它还没有达到及格线!

Qwen3.8 这个排名是我意料之中的。

至于这个 MiMo......军哥,你莫要怪我,主要是 MiMo 太"出众",评价都是 Claude 评的!

页面效果:

这次 DS 和 MiniMax 拿下第一第二,贡献最大的是页面效果这一项。整整为他们争取到了 0.5-1 分的空间。

谁能想到这两位是靠颜值取胜呢? DS 部分,它确实在实力上也略胜一筹。

Qwen3.8 和 GLM5.3 好像不太擅长画这个 SVG 手柄图,应该是新出的模型更有优势!

MiMo 完成度是零,页面得分也是零。

大家可能会觉得有点奇怪,我也有同样的疑问。

我看了一下记录,它有两轮是正常生成了页面的,按理说应该有分数才对。

我找 Claude 确认了一下,它一语点醒了我:

"哥,我们选的是中位数:0、0、0、5.70、6.35"

Claude 完整的思路:

复制代码
MiMo 汇总分显示 0,是我们定的计算规则造成的,不是数据错了。

MiMo 在 t1 的 5 轮成绩依次是 5.70、✗、6.35、✗、✗,只有 2 轮交出了页面:

第 2 轮:跑满 60 分钟,只做规划,零产出。

第 4 轮:写完方案就停下等人确认,零产出。

第 5 轮:花了 55 分钟下载图片、描像素轮廓,超时,零产出。


汇总规则是"没交付按 0 分计入中位数",所以参与计算的 5 个数是 0、0、0、5.70、6.35。排序后中间那个数是 0,中位数自然是 0。范围显示"0.00--6.35",交付率显示"2/5",这两个数字反映的是同一件事。

这样设计,是为了让中位数同时体现水平和稳定性。

如果只算交付的轮次,MiMo 的中位数约为 6.03,会排在 MiniMax 和 GLM Flash 之间。

可它 5 轮有 3 轮交白卷,排在这个位置会误导读者。

看出来了,Claude 还是很在意交白卷的问题的!

耗时数据:

我们开头说了能力很重要,时间也很重要!

我是非常关注时间的,浪费我时间的模型,我都会痛骂它一顿!

看到这个耗时数据,大家是不是又很惊讶?反正我是很惊讶!

最快的居然是 GLM 5.3 Flash!

我以前在 ZCode 里面用,感觉它每一项任务都很慢。我也有在 ZCode 里面单独测试了这个项目,它大概用了 40 多分钟,结果是差不多的。我不确定是什么造成了这种差异,我只能给大家反馈一下这个情况。

DS 的 token 速率可以达到 200 多,但在实际任务中,并没有想象的那么快。

这里最慢的两个就是 MiniMax M3.1 和 MiMo V2.6 了。

MiMo 是直接3 次超时,这个超时的意思就是我给了它 3 个小时,它连一个页面都没有生成!

它一直在大脑里研究怎么画好这个 SVG,各种资料准备,技法推演,就是不动手!

MiniMax 也特别喜欢反复思考和验证!

为了更好的分析时间消耗情况,时间部分我做了细致的划分:一个是等待接口,一个是模型生成,一个是工具执行!

等待接口这一部分呢,跟模型本身速度没有关系!

重点是模型生成和工具执行这一部分。

从数据中可以发现这个 DS 和 MiniMax 它们在工具执行这一步消耗比例是较大的!

GLM 5.3 Flash 就很好,它大部分都是在模型生成部分。

tokens 消耗:

tokens 消耗最少的是 GLM 5.3 Flash。

最多的是 MiniMax M3.1 Flash。

从这里可以看出来, MiniMax 和 DeepSeek 它们的 tokens 消耗量其实是非常高的!

第一名和最后一名之间的差距非常巨大。

注意:这个是完全一样的任务,一模一样的提示词。

费用:

反常识的又来了啊,DS 是最贵的!

费用部分的话,基本上是和 tokens 消耗对齐的!

只是这里有个特殊情况,因为 MiniMax 现在是免费的,所以它不要钱。

GLM5.3 因为 tokens 消耗少,所以它肯定便宜了。

整体来说,价格差距好像比 tokens 消耗差距要小一些。

然后还有一些代码质量啊、交付率啊、通过率啊,这些我就不展示。有兴趣的可以去网页上自己看!

各轮明细:

通过汇总页是可以查到每一轮的明细的。包括它们的得分、时间、思考强度、异常情况。

每一轮点进去都有这样的汇总报告:

然后每一轮中每个模型都有具体的评价:

可以看到用例测试的截图,各维度的评分以及总结!

反正是 Claude 来做,我就让它做得详细了一点咯,人做的话,工作量还是巨大的!

如果这些汇总信息看得还不过瘾,那么可以点击右上角的打开页面和对话回放!

通过对话回放可以查看完整的开发过程:

通过页面可以直接看它的生成结果:

这是 DS 4.1 的一个结果。

看到这个页面风格吧,很像一个模型!

尤其是你们看这个标题的换行和间距。有种稳稳地兜住我的感觉!

不要误会啊,不是豆姐,豆姐也是学别人的。

当然,这只是我的一种感觉,可能就是殊途同归,也可能是偶然碰巧了。

总共有 25 份报告,我实在是没办法全部给大家展示,我的大脑都快宕机了。

虽然这个报告既不是工作,也不是任务,但我还是非常认真做的,都做到上火了,中途也是遇到了非常多的问题。

3、各种问题

刚开始有了一个想法,非常兴奋。到了实操环节就有点深陷泥潭的感觉。

中途遇到了非常多的问题,包括测试系统的问题啊,包括测试工具的问题啊,包括测试对象的问题啊。其中最大的一个问题是"概念问题"。

核心概念问题

就是大家有没有好奇一点,为什么 Gemini 和 Sonnet 成功了,而其他的 Flash 模型全部失败了?这个浏览器到底是如何管理这些手柄的?

其实这里最核心的是一个叫Gamepad的东西!

网页只能通过浏览器的 Gamepad API 读手柄,调用 navigator.getGamepads() 会返回一个数组。

这里有几个特性:

markdown 复制代码
- 数组长度固定。Chrome 在 Windows 上实测是 8

- 每一格要么是 `null`(空位),要么是一个 Gamepad 对象,里面有 `index`(第几格)、`id`(设备名)、`connected`、`buttons`、`axes`、`timestamp`等字段

- 每调用一次,返回的都是一份新的快照,旧对象不会跟着刷新。所以页面要每帧重新调用一次。

我写上一篇文章的时候,就对三个数字产生了很大的好奇,它们分别是 8、6、4!

我也专门问了一下,这到底是什么意思!

数字 是什么 谁决定的
8 浏览器手柄列表的长度,可以理解为浏览器的"插口数" 浏览器(Chrome),Windows 上实测是 8
6 一共接入的设备数:2 个 Keychron 接收器加 4 个手柄 由测试的实际硬件环境决定
4 页面上显示的"玩家槽位"P1--P4 题目要求最多四个手柄,由被测模型写的页面决定

这里还有个小问题:为什么我鼠标和键盘的接收器也被列在了里面?

分析如下:

ini 复制代码
Keychron 的键盘/鼠标接收器会被 Windows 识别成 HID 游戏控制器,浏览器把它们也放进了这个列表。

它们的特点是:

显示为已连接(connected=true),设备名正常,比如 Keychron Link (Vendor: 3434 Product: d030);
永远不会有任何按键或摇杆输入;
而且先占掉 index 0 和 1。

所以场景 8 照真机布局复现:index 0、1 是两个接收器,index 2--5 是 4 个同名的 Xbox 手柄。
8 格里占了 6 格,剩下 2 格是空的。

为什么这个题目会这么难?关键就在这里!

因为这个队列里混入了两个"占着茅坑不拉屎的"。

我们页面上设计了 4 个手柄,相当于四个玩家,然后浏览器返回的是 6 个对象。

模型如果不够聪明,大概率只能匹配到两个手柄,另外两个是没法用的。

很多模型写代码的时候是不管这些的,它就是取了前面 4 个,绑定到了页面上的 4 个手柄。

这个时候,如果我用的是 3 号位手柄,那就能正常接入页面上的一个手柄。

如果我开了 5 号位手柄,那么它就没有绑定页面上任何一个手柄,自然也无法联动显示各种按钮效果了。

同样的问题,我也让 Claude Haiku5.5 和 GPT-6 Luna 做了,这两个模型也很便宜,甚至比上面的 Flash 都便宜,它们的结果也不是很理想,核心问题也是没搞对。 这就是Flash这一类模型的思维局限了!

由于它们不是在 OpenCode 中生成的,我就不比具体的分数了。我们还是关起门来,让国内选手友好交流比较好!

这个手柄的测试我也让 GLM 5.3 做了两轮。

从第一个测试结果来看,它可以正常绑定 4 个手柄,并且正常操控每个手柄,这一点比 Flash 确实厉害喽。

但是它采用的思维是,一个萝卜一个坑。

而 G4 和 Sonnet 它们采用了先到先得的逻辑。

这两种逻辑其实也是两个级别。

假设我们玩一个游戏需要两个手柄。

如果是事先锁死的情况,就是一号手柄对一号玩家,二号手柄对二号玩家,三号四号手柄对不上玩家。

而采用先到先得的逻辑的话:

1 号手柄先接入,就先匹配 1 号玩家,3 号手柄第二个接入,那就直接匹配 2 号玩家。

这样一来,你只要接入两个手柄就能玩游戏。

这个时候把 1 号和 3 号手柄断掉,把 2 号和 4 号手柄打开,它们就会自动绑定一号和二号玩家,照样可以正常玩游戏。

这大概是我的理解,你们有没有理解我的理解?

所以这个问题还是挺吃那个开发经验和实战经验的,老程序员一想到这个场景就知道会有什么问题,新程序员大概率就会遇到问题,一旦遇到这个问题就很难跳出来,除非你完整的了解了这个机制。

当然智商高能力强的人(模型),他是可以通过现象和测试分析出原因并制定解决方案的!

这个题目中有六种常见错误做法:

  • 按 index 直接对应玩家座位;
  • 只读列表前 4 位;
  • 用设备名当身份;
  • 保存旧快照反复读;
  • 能认出幽灵设备,但不让它让出座位;
  • 按名字去重、只留时间戳最新的那个。

这个经验,也是我和 Claude 反复讨论研究观摩总结出来的!

测试的问题

这次测试最难的不是测试对象的选择,而是测试本身!就是为了测好,花了很长的时间。

其中因为串行和并行的问题、思考强度的问题、输出长度的问题,多测了好多次。

串行和并行的问题特别浪费时间。

第一次为了图快,我是直接开的并行测试的,然后也没出错,但是就是跑了好一会儿没结果。

我怀疑会有互相影响,就只能用串行跑了一次。

串行跑的话时间就比较久了,每个模型给它一个小时的上限,5 个模型如果都跑满的话,就得 5 个小时。

有条件最好是用官方 API 一波撸了,我是有计划都用 API 接入 Claude Code 来测试,结果可能会更好一些。

这个技术方面是可以搞定,主要是和财力相关,容我三思!

思考强度的问题也花了一些时间。

我刚开始没想到这个问题,测到后来才想起来,我好像没有跟 Claude 强调过这个问题。

然后我就查了一下这些模型的思考等级:

模型 思考强度档位
DeepSeek V4.1 Flash low / high / max
MiniMax M3.1 Flash low / medium / high / xhigh / max
GLM 5.3 Flash low / high / max
Qwen3.8 Flash low / medium / xhigh
MiMo V2.6 Flash 无
GLM-5.3 low / high / max
Kimi K3 none / low / high / max

好难啊!

有的是有 5 档,有的是 3 档,有的是 4 档,有的是没有。

如果全部拉满,我又等不起。

所以我的逻辑就是选中间档。五档的就选第三档,三档的就选第二档。

重新把所有的模型再串行测几轮的话,我就快要吐了,所以我只刷新测了第五轮!

这个思考强度好像对 GLM 5.3 Flash 影响大一点,其他的和默认设置差不太多。

输出长度问题!

除了上面两个问题,我还遇到了这个输出长度的问题。

我本来呢是只打算测国产的 5 个 Flash 模型的。

但是呢,有朋友说,你是不是把 Kimi 忘了?3 个月前还是"小甜甜",可以直接"干翻"Fable ,即便现在在国内也应该很能打吧?

说实话,这个模型迭代速度这么快,现在能不能打,我真的不清楚!

所以只能测了才知道,那既然 要测K3 ,顺带把 GLM5.3 也测一下!

然后测 GLM5.3 的时候就遇到了"输出长度"的问题!

这家伙拿到问题之后就是雷霆大思考,很久不输出东西,一输出就超过 OpenCode 默认的输出长度了。

测了两次都在 8 分钟左右断掉了。后来一看是输出长度的问题,然后又测了一次。

整体结果吧,还不错,比如Flash强!

K3 的测试结果,我给大家留个悬念,你们可以猜一下,它大概排在哪里!

最后我申明一下:我这纯粹是业余测试,仅供参考! 能力时间财力都比较有限,没法做到特别严谨。

我只能保证我是很认真的在做这个事情,也是花了大量的时间和钱来做这个事情。

我看了一下我跟 Claude 的对话记录啊,单纯 Opus 5.5 的消耗就达到了 111 美元!

如果我不用 Opus 5.5 的话,这个测试周期可能还要长一倍。它在处理这些任务的时候,确实非常强。我可以同时给它三个任务,不需要切换窗口,它自动来管理。

比如说我一方面在串行测试 5 个模型,同时又可以让它帮我设计网页,帮我修改报告的样式,同时我还可以问它各种问题。甚至同时我还可以让它再做一个并行测试。这些任务都能在后台运行,该通知我的时候就会通知我,该做总结的时候就会做总结。

测试脚本,测评报告,网页制作,网站发布,后期的调整更新,全部一条龙搞定。

我根本不需要关心后面的细节,这种体验其他 Agent 很难做到!

哎呀,不说了不说了,说多了又让大家心痒痒,让有些人牙痒痒!哈哈哈

所有结果都已经上传了!

topai.jarvisuni.com/JarvisBench...

包括汇总页,具体每轮测试的记录和所有运行日志!

其实测完这个 Flash 模型之后,我就特别想测一下其他模型,但是一旦上升到 Pro 模型以及国外的模型的话,成本就非常高。我想想还是收手了,人生总是要有取舍嘛!

先把Flash搞清楚,也是挺好的。

相关推荐
阿里云大数据AI技术1 小时前
StarRocks × Paimon C++:加速湖上数据分析
大数据·人工智能
秦先生在广东1 小时前
多智能体统一架构:拆解 wshobson/agents 的跨工具插件适配机制
人工智能
秦先生在广东1 小时前
Graphify:基于本地确定性 AST 解析的代码知识图谱探索
人工智能
阿里云大数据AI技术2 小时前
【云栖实录】一切数据,皆可计算:MaxCompute 升级为AI Native全模态计算服务
大数据·人工智能·agent
面壁的熊猫2 小时前
agent-team 与 Multica 差异分析,以及 2026 年多 Agent 编码编排最新相关工作
人工智能·开源项目·ai agent
云淡风轻~窗明几净2 小时前
角谷猜想最接近严格证明的测试 Version1.1.1
人工智能·算法·机器学习·图论
武子康2 小时前
撤回发生在重建途中,旧索引还能切回来吗
人工智能·后端·agent
新知图书2 小时前
10.3 本地生活与商业服务:信任构建的差异化路径
人工智能
博谷2 小时前
2026年AI搜索监测平台的问题库怎么搭建?BUGOOAI布谷GEO用五域问题模型拆解决策变量
人工智能