早上我夸了一顿WorkBuddy软件界面做得好啊,各种套路玩得溜啊。
下午,就要来测一测它上面的混元4(HY4)了。
整个测下来,还是有点点超出我预期的。我们之前对HY系列的印象是有点边缘化的,现在整体感觉是中等偏上了,已经超过很多之前比较强的国产模型了。
我这次测试的配置如下:WorkBuddy + HY4!

思考强度是无法选择的,默认为高,然后上下文窗口默认比较小,我拉到最高了。
HY4 预览版已经发布一段时间了,这次是从Preview转正了,目前应该是企鹅家最强的AI模型。
我稍微加一点背景资料:

官方发布信息是这样的,很朴素。 我就看到一个"新增视觉功能",其它描述就比较泛。
基准数据如下:

这个数据,单论分数是不出彩的。但是比较来看就很有意思了。
大概能看出这么个意思:国外的 Opus5.5 和 GPT-6.1 Sol 咱们确实有点比不了,但是国内还是很能打的。 这个场景就很像K3.1pro发布的时候。
这里面最关键的还不是国内能不能打,而是"第三方"视角。
在这个图片中出现过的国产模型,在自己发布的基准中都非常强大。然后现在在 HY4 的视角里,又是另外一种样子了。 Z哥,你们真的需要更新一波了,世界变化太快了。
图表很清楚,我就不过多评价了。我对 HY4 没有太多期待,所以也不用下重手,我们就按正常的来测就行了。
竞技场的Agent排名如下:

HY4 Preview 的时候是排名 25 名,HY4 正式版跳到了 14 名。 从这个排名可以看出来混元肯定不是头部玩家,属于腰部玩家。 但是把范围缩小一下,按国内当前的现状来看,那这个排名就很不错了,仅次于 K3.1 Pro。 HY4的模型参数大概只有K3.1Pro的四分之一,但是能力快要赶上了,这也是挺神器的啊。
不过这个榜单,很多模型的排名也是很奇怪的,仅供参考吧。
大家可以看看,后面的排名,是否和你们想的完全不一样。
总的来说,HY4 的发布,无论是基准数据,排名,还是公告,都没有特别亮眼的地方。
我们还是直接上手跑跑看吧,数据是给别人看的,模型是给人用的。用起来的感受最重要。
因为我的 Work 主要是 Coding,所以测试题目还是 Coding 为主。以后会扩充一些 Work 相关的题目!
多模态推理
它的官方公告中有提到,这次新增"视觉功能"。这是补齐了一个短板,所以应该测一测。
刚好,我有一个基于多模态的视觉推理题目:

我的问题是:如果两炮能打掉红色框中的砖块,那么黄色坦克朝右开两枪会怎么样?

这个题目看起来很简单,但是很多AI模型都会答错。 只要它们想当然,根据历史经验来答题,就必错。
只要它们想到能用工具量一下,基本上不会错。 当然有些模型特别厉害,不用尺子量,一眼就能看出厚度关系。
WB + HY4 在这个问题上表现还不错:

除了时间比较久之外,没啥毛病! (干了 9 分钟)
结论是完全正确的,我看了一下思路也是正确的,另外它竟然给我画了一个示意图,让我很意外哦,这次第一次有人给我画了个图,生怕我看不懂么? 对不懂人来说,确实挺友好的!
赛博上河图
小试牛刀之后,我们进入常规测试。 看看赛博朋克版清明上河图的表现。
结果如下:

这个水平,国产模型中应该属于中等偏上。
已经有一定的空间感了,但是后面部分还是比较平,另外桥应该是横跨两岸的,而不是起点和落点都在河面上。后排的房子特色还不够清晰,堆叠感比较器,也有点分不清边界。
人物部分细节和轮廓已经做得比较好。
HY4预览版,我其实也是测过的,效果如下:

相比而言,好像预览版的色彩更加吸引人,看起来更加繁华的样子,另外它这个桥是横跨两岸的。
这个题目总共用了 20 分钟,时间比较适中!
大家可能会比较好奇和DSF V4.1比会怎么样!
下面是DS的效果:

这一次,DS 的层次感更好一些,房子的间距和形态看起来更舒服一些!
天文机械表
这也是我们常测的一个题目,刚开始一大堆模型都做不好。但是近期,大部分模型已经可以做出来了。
看下HY4的结果:

哇! 这个设计看起来不错,一看就很贵的样子,表带也画出来了。 我大致测了下,各种功能也是正常的。
再来对比一下Preview预览版的效果:

无论是网页样式,还是钟表样式,在审美方面有很大的提升啊。
"鹅兄"你突然变这么优秀,我不习惯啊。
这个例子消耗了 24 分钟,不算快,但是也没有到很慢的程度。
同样拿 DS 做个参考吧:

DS 当时这个例子做得不是太好!
游戏复刻
听说Claude都禁止复刻游戏了,我们赶紧来看看HY4的复刻能力怎么样。我们不搞任何复杂的游戏,就测一下超级玛丽。
首先是看能不能,其次是看好不好。
首先它不会拒绝你复刻游戏。

image-20261105175858751
它很快找到了一个开源项目,然后开始"借鉴"了!
最终它的判断是:"全部 40+ 项测试通过,画面和逻辑都达标了。"
结果如下:

最终的开发结果的话,整体来说还可以,能通关。
主要问题是,角色有点抽象,地图大致上是对的,但是有几个细节不一致。 另外玩法方面也有些小问题。比如死了会弹射升空,脚是悬空的,终点顶到天花板了。
这个例子,在国产模型中做得算不错的。相比 Claude、GPT 这些,还是有差距,因为它们已经可以做到"如假包换"了。
这个例子花了 47 分钟!
相比快的选手已经慢了,第一梯队可以在 20 分钟左右,做得又快又好。
但是相比某些慢的选手还是很快的,慢的选手可以干 3 个小时,反复验证,最后结果依旧拉胯。
同样贴一个 DS 做个参考吧:

DS 当时做的结果,有一个很大的问题,就是跳跃问题,常常跳不起来。然后地图也没有做到一比一还原,角色和场景也都是比较抽象的。 整体看,HY4 略胜一筹。
甲维斯的车库
游戏搞完之后,测试一下网页复刻和 3D 建模能力。现在新的模型基本都会宣传 3D 能力,HY4我不知道有没有宣传,但是基准中看到了一个3D 开头的基准。
HY4 的测试结果如下:

网页复刻没啥大问题,有了多模态能力之后,基本上都可以还原出来。 内容和布局都对的。只是有些细节稍微不一样。
建模能力嘛,只能说勉强能用。
最终效果,车子是车子,人是人,都能认出来。但是还没法追求细节和轮廓。
自行车建模还可以,其他车子差距还比较大,Mark III 这一块,谁看谁乐! 我又把 Mark III 完整的三视图给它参考,跑了 28 分钟之后,提升非常有限。
这个例子,第一轮花了 1 个小时!
随着难度和工作量的增加,时间也越来越长了。这个例子花一个小时不能说很长,但是整体偏长了。
继续拿 DS 做参照:

哈哈。这一趴,这两位极其相似。 只能说是半斤八两的好buddy了。
游戏手柄控制
之前测试国内Flash模型的时候,出了一个新的题目。
题目内容是这样的:
帮我在网页上画PS手柄,然后支持真实的手柄接入,按相应的按钮,会做出对应的反应。要考虑到多手柄接入,我最多会接入四个手柄。
核心要求:
1、网页制作漂亮,匹配主题,有设计感
2、手柄轮廓和样式要高度还原
3、要考虑幽灵插槽的问题,能分清楚不同的手柄。
今天我也让 HY4 做了一下。并且微调了一下提示词,让它把"Xbox"手柄也画一下。
结果如下:

可以参考一下原版:

我其实就是想告诉你们,我买了一个很好看的手柄🎮!
对比而言,整体布局是对的,但是画得比较丑,具体的位置和轮廓还有很大的提升空间,好几个按钮的位置都悬空或者重叠了。
可以看看表现比较好的选手:

当时叫它们画的是 PS 手柄,画的还是非常漂亮的。 一次性能用代码画出这么精美的手柄,只能说它们确实是在另一个level了。
HY4除了画的不太行之外,功能上也是有问题的。
其实从它画的几个手柄的名字就知道,它犯了基础错误,没有动态处理玩家和座位的问题。
我的游戏控制里面其实有 6 个设备。

两个是鼠标键盘,两个是USB接入的手柄,还有两个是 Xbox 的无线手柄。 它知道有手柄接入,但是完全无法绑定具体的手柄执行同步动作。蓝牙手柄被它忽略了。
这个例子大概花了 28 分钟,偏慢,快的几分钟就可以搞定。
大概就跑这些吧。
我对 HY4 是没有太大期待的。所以从预期的角度来说,其实是超预期的。前面几个例子表现还不错的。 后面的例子就比较吃力了。
整个测下来,我是比较平静的。我并不觉得它很差,也并没有让我特别兴奋的地方。
在顶尖模型这一块,国产模型好像已经没有席位了。
当然,话说回来,如果大家只是日常 Work,那么这个Buddy肯定是够用了。"日常工作"应该也是它的核心场景吧!
作为一个 770B 的模型,整体表现还可以的。在不同难度问题上分配的时间也是比较合适的。