论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显

相关推荐
风象南14 小时前
Claude Code这个隐藏技能,让我告别PPT焦虑
人工智能·后端
Mintopia14 小时前
OpenClaw 对软件行业产生的影响
人工智能
陈广亮15 小时前
构建具有长期记忆的 AI Agent:从设计模式到生产实践
人工智能
会写代码的柯基犬15 小时前
DeepSeek vs Kimi vs Qwen —— AI 生成俄罗斯方块代码效果横评
人工智能·llm
Mintopia16 小时前
OpenClaw 是什么?为什么节后热度如此之高?
人工智能
爱可生开源社区16 小时前
DBA 的未来?八位行业先锋的年度圆桌讨论
人工智能·dba
叁两19 小时前
用opencode打造全自动公众号写作流水线,AI 代笔太香了!
前端·人工智能·agent
前端付豪19 小时前
LangChain记忆:通过Memory记住上次的对话细节
人工智能·python·langchain
strayCat2325519 小时前
Clawdbot 源码解读 7: 扩展机制
人工智能·开源