腾讯AI Lab与上交大探索模型“过度”思考

自OpenAI推出o1模型后,其多路&长链推理与复杂规划能力对于系统②·慢思考范式的建立提供了一种从train-time到test-time scaling law的延展。o1模型通过模拟人类深度思考过程,在思维链中运用自我反思、纠错以及探索多种解法等推理策略,延展了强大的推理性能,从而能够持续优化答案质量。然而,随着o1模型的广泛应用,一个潜在问题亦逐渐凸显出来,即"过度思考"。

近期,国内外许多类似o1的模型也陆续出现,比如Qwen团队近期开源的QwQ-32B-Preview,Deepseek推出的R1-Preview等模型。这些模型在推理时同样具备 "深度思考" 的特性,但也暴露出了类似的问题:在不必要的情况下生成过长的思维链反而浪费了计算资源。如论文标题的例子:"2+3=?"...

本篇论文的目的之一即是对这种"过度思考"对不同问题与任务在不同场景应用中展开系统性分析并尝试建立针对Outcome Efficiency与Process Efficiency的"过度"定义。

同时,论文亦提出了缓解"过度"思考的一系列数据样本构造及模型优化方法,包括:

Shortest Response:使用模型采样结果中最短的生成结果作为正样本。

First-Correct Solutions, FCS:使用模型采样结果中最短的首次得到正确答案的解答作为正样本,抛弃所有后续的思考。

FCS+Reflection:由于绝大多数的采样结果都是在第一个解答中就出现了正确答案,仅保留首个正确回答可能会使得模型退化,因此研究者们在第一次得到正确答案后,额外保留了一轮反思的内容。Greedily Diverse Solutions,GDS:除了单纯地对长度进行控制,另一个优化思路是尽可能保留更多样化的思考轨迹,因此研究者们在 FCS 方法的基础上,尽可能多地保留了包含不同推理策略的解答。

基于以上几种偏好数据,研究者们尝试了最基础的 SFT 以及多种偏好优化算法,如 DPO,RPO以及 SimPO,实验结果大家可参考原论文。

不过我想这也仅是刚刚开始,在现实世界复杂而多样的应用场景中,甚至于未来不同定义下的AGI,这种差异化的思考模式所带来的不同推理生成结果,也许会成为llm迈向并建立另一条模型通用能力上的助推器,而潜在的隐式CoT也许会在其中起着某种微妙的调和或平衡作用。

相关推荐
说私域14 分钟前
技术指数变革下的组织适应性研究:基于定制开发开源AI智能名片S2B2C商城小程序的实践观察
人工智能·小程序·开源
realhuizhu17 分钟前
📚 技术人的阅读提效神器:多语言智能中文摘要生成指令
人工智能·ai·chatgpt·prompt·提示词·总结·deepseek·摘要
szxinmai主板定制专家19 分钟前
一种基于 RK3568+AI 的国产化充电桩安全智能交互终端的设计与实现,终端支持各种复杂的交互功能和实时数据处理需求
arm开发·人工智能·嵌入式硬件·安全
apocalypsx30 分钟前
深度学习-Kaggle实战1(房价预测)
人工智能·深度学习
春末的南方城市34 分钟前
开放指令编辑创新突破!小米开源 Lego-Edit 登顶 SOTA:用强化学习为 MLLM 编辑开辟全新赛道!
人工智能·深度学习·机器学习·计算机视觉·aigc
37手游后端团队40 分钟前
Claude Code Review:让AI审核更懂你的代码
人工智能·后端·ai编程
Macre Aegir Thrym1 小时前
MINIST——SVM
算法·机器学习·支持向量机
源代码杀手1 小时前
深入解析 Spec Kit 工作流:基于 GitHub 的 Spec-Driven Development 实践
人工智能·github
Young_Zn_Cu2 小时前
LeetCode刷题记录(持续更新中)
算法·leetcode
天选之女wow2 小时前
【代码随想录算法训练营——Day31】贪心算法——56.合并区间、738.单调递增的数字、968.监控二叉树
算法·leetcode·贪心算法