数学大模型MAmmoTH:通过混合说明调整建立数学通才模型

向悦和陈文虎是该项目的主要作者。他们这个项目推出 MAmmoTH,这是一系列专为解决一般数学问题而定制的开源大型语言模型 (LLM)。 MAmmoTH 模型在 MathInstruct 上进行训练,MathInstruct 是我们精心策划的指令调整数据集。 MathInstruct 已编译 来自 13 个具有中间原理的数学数据集,其中 6 个具有我们新整理的原理。它拥有思想链(CoT)和思想计划(PoT)基本原理的混合,并且还确保广泛的 涵盖数学的不同领域。 CoT 和 PoT 的混合不仅可以释放工具使用的潜力,还可以针对不同的数学问题提供不同的思维过程。因此,MAmmoTH 系列实质上 在所有规模的 9 个数学推理数据集上,其性能优于现有开源模型,平均准确度增益在 12% 到 29% 之间。值得注意的是,我们的 MAmmoTH-7B 模型在 MATH(竞赛级别)上达到了 35% 数据集),超过最好的开源7B模型(WizardMath)25%,MAmmoTH-34B模型在MATH上达到46%的准确率,甚至超过了GPT-4的CoT结果。我们的工作强调了多样化问题的重要性 覆盖范围以及在开发高级数学通才模型时使用混合原理。

项目地址:https://tiger-ai-lab.github.io/MAmmoTH/

参考资料

https://www.aibase.com/zh/tool/34999

相关推荐
Blossom.1181 分钟前
把AI“灌”进奶瓶:1KB决策树让婴儿温奶器自己学会「恒温+计时」
人工智能·python·深度学习·算法·决策树·机器学习·计算机视觉
94甘蓝1 小时前
第 12 篇 Dify 入坑记录:database插件连接未关闭
数据库·人工智能·ai·dify·dify插件
mit6.8242 小时前
[nanoGPT] configurator.py | exec() & globals()
人工智能
rengang662 小时前
132-Spring AI Alibaba Vector Neo4j 示例
人工智能·spring·neo4j·rag·spring ai·ai应用编程
mit6.8242 小时前
[nanoGPT] 性能与效率 | `torch.compile()` |`Flash Attention`|`混合精度训练`|`estimate_mfu`
人工智能
豆芽脚脚3 小时前
机器学习之数字识别
人工智能·机器学习
智海观潮3 小时前
Flink在与AI集成的路上再次“遥遥领先” - Flink Agents
大数据·人工智能·flink
honeysuckle_luo4 小时前
RandLA-net-pytorch 复现
人工智能·pytorch·python
_BugMan5 小时前
【大模型】理论基础(1):函数与神经网络
人工智能·深度学习·神经网络
AI模块工坊6 小时前
CVPR 即插即用 | PConv:重新定义高效卷积,一个让模型“跑”得更快、更省的新范式
人工智能·深度学习·计算机视觉·transformer