Meta发布小模型Muse Ember,智能体基准多项超GPT-6与Claude Haiku 5.5

Meta推出了Muse Ember,官方称其为迄今为止最小、最高效的AI模型。该模型已在Muse Code和Meta Model API上线,模型标识为muse-ember-1.0。

Meta将Muse Ember定位为处理智能体(Agent,指能自主执行多步任务的AI系统)日常重复性工作的模型,比如浏览网页、操作终端、读取文档等操作型任务,区别于追求通用对话能力的旗舰模型。

基准测试得分对比

Hacker News上一篇帖子公开了一组评测数据,标注为max模式(即各模型在该项测试中的最高得分),将Muse Ember与GPT-6 Luna、Claude Haiku 5.5做了对比。这组数据目前只能追溯到这一篇帖子,尚未看到Meta官方或独立第三方给出相同数字,测试所用硬件、环境是否一致也未说明。

在AutomationBench-AA测试中,Muse Ember得分37.8%,GPT-6 Luna为20.2%,Claude Haiku 5.5为13.9%,差距在七项测试中最大。

在Agents' Last Exam测试中,Muse Ember得分61.6%,GPT-6 Luna为57.1%,Claude Haiku 5.5为57.0%,三者差距缩小到个位数。

在Personal Superintelligence Index测试中,Muse Ember得分46.8%,GPT-6 Luna为37.0%,Claude Haiku 5.5为36.1%。

在Terminal-Bench 4.0测试中,Muse Ember得分40.9%,Claude Haiku 5.5为39.2%,GPT-6 Luna为16.4%,GPT-6 Luna在这项上明显落后。

在GDP.pdf-AA测试中,Muse Ember与GPT-6 Luna并列22.8%,Claude Haiku 5.5为20.8%。这是七项中唯一一项Muse Ember未单独领先的测试。

在OSWorld 2.1测试中,Muse Ember得分69.5%,Claude Haiku 5.5为68.9%,差距不到一个百分点,GPT-6 Luna为50.5%。

在PerceptionBench测试中,Muse Ember得分80.6%,Claude Haiku 5.5为78.6%,GPT-6 Luna为62.8%。

七项测试里,Muse Ember六项得分最高,一项与GPT-6 Luna并列。帖子没有说明每项测试的任务构成、样本量和评分方式,这些得分差距在多大程度上反映真实能力差距,暂时无法判断。

效率数据与来源局限

同一来源还提到两组效率数据:Muse Ember完成任务所需的输出token(指模型生成内容时按单元计量的文本片段)比对比模型减少36%到48%;在Cloudflare的测试环境中,Muse Ember在任务尾部阶段的速度比对比模型快30%。

这两组数字都没有说明"对比模型"具体是哪一款,也没有给出测试任务类型、请求规模或测速方法。数字本身来自单一帖子转载,无法判断是否经过同行复核,暂时只能作为厂商或帖子作者单方面提供的参考数据看待。

尚未说明的信息

现有资料没有提到Muse Ember的参数规模、训练数据来源、具体发布日期,也没有说明调用价格、接口细节或是否需要申请权限才能使用,这意味着开发者目前无法据此判断迁移或接入的成本。资料也没有解释Muse Ember在操作型任务上得分更高的原因,比如训练目标设计或架构上的具体差异,Meta方面暂未就此公开说明。截至目前,未找到独立于这篇Hacker News帖子的第三方评测或业内人士评价。

原文地址:tools.wflynn.cn/aitools/tre...

关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报:

相关推荐
jianqiang.xue28 分钟前
1万亿参数全开源,Mistral Large 4又降了编码Agent门槛
开源
wflynn1 小时前
GitHub 日榜趋势速报 | 2026-11-09
开源·github
miofly3 小时前
GitHub 日榜趋势速报 | 2026-11-10
开源·github
Yingyingyingyyy3 小时前
GitHub 开源热榜项目-周榜(2026-11-09)
开源·github
冬奇Lab14 小时前
一天一个开源项目(第256篇):Anatomy —— 让 Claude 为技术概念「发明一台机器」,画成可交互的等距插画
人工智能·开源
孟郎郎15 小时前
打造一切(Craft Anything)——克隆构造世间万物
人工智能·ai·github·软件构建·开源软件
海洋之恒16 小时前
GitHub Actions 自动化:5 个真实运维提效案例
运维·自动化·github
小Z先生16 小时前
我用 Go + 系统 WebView 写了个纯本地 Postman:不装 Electron、不连云端
后端·github
待君17 小时前
一个月 7 个版本:三版都在补同一件事 —— 卡片背面原来是空的
开源·deepseek