豆包大模型披露评测成绩,较上一代“云雀”提升19%

豆包模型在5月15日刚刚推出

豆包大模型在火山引擎原动力大会上正式发布。以超低价格掀起大模型降价潮的同时,豆包的模型能力也引发行业关注。

在火山引擎的一份产品资料中,豆包模型团队公布了一期内部测试结果:在 MMLU、BBH、GSM8K、HumanEval等11个业界主流的公开评测集上,Doubao-pro-4k 的总分为76.8分,相比上一代模型云雀Skylark2 的64.5分提升了19%,也优于同期测试的其他国产模型。

此次评测在今年5月完成,主要包括豆包通用模型-pro、云雀Skylark2 在内的九款国产大语言模型。除了云雀Skylark2 以外,其他模型均为各家厂商最新发布的高级版本,通过API调用进行测试。

图:豆包模型团队内部测试结果

评测结果显示,在评估代码能力的两个评测集 HumanEval 和 MBPP 上,豆包相比上一代模型提升了50%左右;在专业知识和指令遵循的评测集上,豆包分别获得33%和24%的性能提升,同时也是得分最高的国产模型。

此外,豆包模型在数学能力、语言理解能力,以及综合评测集 CMMLU 和 CEval 的评测上也有不错的表现,得分排在前三。综合11个公开评测集上的测试成绩,豆包通用模型-pro的总分为76.8分。根据OpenAI公布的测试成绩,GPT-4在这些评测集上的总分为80.1分,相比国产模型仍有一定领先优势。

据悉,豆包模型在5月15日刚刚推出,尚未加入到第三方机构测试中。预计未来一到两个月内,很多第三方评测机构将会陆续披露该模型的评测结果。与模型同名的AI对话助手"豆包",官方公布的月活用户数已经达到2600万,用户可以自由体验测试。

此前,智源研究院公布了覆盖全球91个语言模型的评测报告。在偏重考察中文能力的主观评测中,云雀Skylark2 排名第一,中文能力超过 GPT-4。

相关推荐
redreamSo21 小时前
AI Daily | AI日报:Synthesia CEO:不招精英的AI视频独角兽; WAIC 2025大模型论坛:行业大佬硬核辩论; 毕树超:十年转变,深信AGI已至!
程序员·aigc·资讯
redreamSo2 天前
AI Daily | AI日报:微软花17亿买屎埋地换碳减排额度; WAIC聚焦AI幻觉,讯飞星火X1升级破难题; GPT - 5「全家桶」本周或上线,编程能力惊人
程序员·aigc·资讯
不摸鱼3 天前
创业找不到方向?不妨从行业卧底开始 | 不摸鱼的独立开发者日报(第66期)
人工智能·开源·资讯
redreamSo3 天前
AI Daily | AI日报:Meta百亿抢人,AI数据标注产业升级; 百度全栈自研,AI应用大放异彩; Hinton访华:多模态大模型已有「意识」
程序员·aigc·资讯
redreamSo4 天前
AI Daily | AI日报:Altman:GPT - 5将引发就业与欺诈变革; OpenAI 新模型多场竞赛‘翻车’,谷歌躺赢!; 黄仁勋:报废50亿显卡,员工薪酬全加薪
程序员·aigc·资讯
不摸鱼5 天前
Meta大佬:AI能写代码后,程序员最重要的是“品味” | 不摸鱼的独立开发者日报(第64期)
人工智能·开源·资讯
redreamSo5 天前
AI Daily | AI日报:Meta出走团队获融资,打造AI视觉记忆大脑; OpenAI急募300亿,星际之门危机四伏; Altman:GPT - 5将引发就业与经济变革
程序员·aigc·资讯
great9836 天前
AI 及开发领域动态与资源汇总(2025年7月23日)
资讯
算家计算7 天前
阿里开源最强编程模型Qwen3-Coder!超越GPT-4.1,登顶开源榜首
人工智能·ai编程·资讯