Math24o:SuperCLUE开源的高中奥数推理测评基准,85.71分屠榜

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


💡 「高中老师惊了!这个AI测评工具竟用奥赛真题给大模型『批改作业』」

大家好,我是蚝油菜花。当教育界还在争论AI能否解数学题时,SuperCLUE已经用奥赛题给大模型办了场「高考」!你是否也好奇:

  • 📊 号称全能的大模型,遇到函数迭代和几何证明会不会当场死机?
  • 🧮 不同模型的数学推理能力差距,究竟像学霸vs学渣还是教授vs小学生?
  • ⚡ 那些动辄千亿参数的怪物,在21道奥赛题面前会不会原形毕露?

今天深度解析的 Math24o 测评基准,正在用最硬核的方式检验AI的数学脑!这套由2024奥赛预赛真题组成的「照妖镜」:

  • 题题到肉:函数/数列/几何全涵盖,难度对标省级竞赛
  • 判卷无情:答案必须装进\boxed{},差0.1分都算错误
  • 开源透明:评估脚本全公开,杜绝「黑箱操作」

目前OpenAI的o3-mini以85.71分领跑,而某些明星模型竟不及格------你的模型准备好迎接这场数学审判了吗?

🚀 快速阅读

Math24o是首个针对高中奥数竞赛的中文大模型测评基准。

  1. 功能:通过21道奥赛真题实现模型数学推理能力的自动化评估
  2. 技术:基于Python开发标准化评估流程,支持答案唯一性校验

Math24o 是什么

Math24o 是由中文大模型测评机构 SuperCLUE 开源的高中奥林匹克数学竞赛级别测评基准。该基准精选2024年全国高中数学竞赛预赛真题,包含函数、数列、几何等领域的21道高难度解答题,所有答案均为唯一整数或小数。

通过标准化提示词要求模型将最终答案放入\boxed{}格式,配合自动化评估脚本,可客观量化不同模型在复杂数学推理任务上的表现。当前测评结果显示,头部模型正确率差距可达28.57%,为模型优化提供了明确改进方向。

Math24o 的主要功能

  • 高难度题库:采用2024年奥赛预赛真题,涵盖函数迭代、组合数学等竞赛级题型
  • 标准化评估:通过\boxed{}格式强制规范输出,程序自动比对参考答案
  • 可视化结果:输出Excel格式详细得分表,支持横向对比多模型表现
  • 开源可复现:完整评估代码公开,支持自定义题目扩展

Math24o 的技术原理

  • 命题设计:题目选自中国数学会官方竞赛,确保专业性和难度梯度
  • 评估架构:基于Python构建自动化流水线,实现答案提取→格式校验→得分计算全流程
  • 提示工程:采用特殊格式\boxed{}约束输出,避免模型解释性文本干扰判卷

如何运行 Math24o

1. 安装依赖

bash 复制代码
pip install -r requirements.txt

2. 执行评估

将模型回答保存至model_answers文件后运行:

bash 复制代码
python auto_evaluation.py

3. 查看结果

评估结果将输出至output.xlsx文件,包含每题详细得分与总分统计。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关推荐
西西弗Sisyphus4 分钟前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
ajassi200022 分钟前
开源 C# .net mvc 开发(八)IIS Express轻量化Web服务器的配置和使用
linux·开源·c#·mvc·.net
前端双越老师27 分钟前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
HelloGitHub35 分钟前
从被喷“假开源”到登顶 GitHub 热榜,这个开源项目上演王者归来!
开源·github
东坡肘子44 分钟前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
wei_shuo1 小时前
百度开源文心 4.5 系列开源大模型 GitCode 本地化部署,硅基流动:文心 vs. DeepSeek vs. Qwen 3.0 深度测评
百度·开源·文心大模型·gitcode
KaneLogger1 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼1 小时前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘