Chain-of-Thought真能提高大模型的推理能力吗?

用于提高大语言模型(LLM)的推理、规划、算术等能力的思维链(Chain-of-Thought、CoT)技术,真的能帮助LLM一步步地回答问题吗?美国亚利桑那州立大学的研究人员近期发表了一篇论文[1],论文根据实验结果,对CoT能够通过一系列的提示、引导LLM进行推理的观点提出了质疑。

作者们在评估CoT的推理能力时,没有采用较流行的GSM8K、CommonSenseQA、StrategyQA等测试数据集,而主要针对国际规划竞赛(International Planning Competitions)所认可和使用的Blocksworld问题进行了试验,同时还试验了以下三类推理和算术问题:

  • 翻硬币(Coin Flip)问题;
  • 字母拼接(Letter Concatenation)问题;
  • 多步算术(Multi-step Arithmetic)问题。

Blocksworld问题及实验结果

Blocksworld问题在规划问题的文献中使用较广。Blocksworld问题所要解决的是将一定数量的积木从开始时的布局,通过一步步的移动,转变成为目标布局。作者们在实验中采用了Blocksworld问题中的较为简单的一部分子问题,具体而言,就是将台面上的一定数量的积木,按照目标顺序(例如积木A在积木B之上)堆成一个立柱的问题。

实验时,作者们采用了不同详细程度的多种CoT提示语,包括简单的Zero-Shot CoT提示语(即在提示语中增加"Let's think step by step."),以及几种更加详细具体的CoT提示语。所采用的LLM包括GPT-4、Claude-3-Opus和GPT-4-Turbo。

实验的主要结果是:

  • 未采用CoT的LLM基本不具备简单的规划能力;
  • 只有当CoT提示语中的示例很详细、并且与所求解的问题足够相似时,CoT才能起到明显的作用;
  • 不论采用多么详细具体的CoT提示语,当积木的数量增多时,堆叠积木的成功率都急剧下降,这意味着CoT所传授的知识不能被延用到同类的、但是更大的问题中,所传授的知识不具有通用性;
  • 即使使用self-consistency(一种改进的CoT技术),得到的结果也类似、甚至更差。

翻硬币问题及实验结果

翻硬币问题,是告诉LLM一枚硬币最初正面朝上,"人员1"翻转了这枚硬币,"人员2"未翻转这枚硬币,.... ,"人员N"翻转了这枚硬币,然后提问LLM这枚硬币最终是否正面朝上。其中,"人员i"在提示语中被替换成不同的人名。

实验时所采用的LLM是GPT-4-Turbo。实验的主要结果是:

  • 当提示语中涉及的人数N不超过30时,采用CoT的回答准确率随着人数的增加而有所下降,但能保持在90%以上;相比之下,未采用CoT的LLM的回答平均准确率不到60%,接近于随机猜测的准确率(50%);
  • 当提示语中涉及的人数N超过30时,采用CoT的回答准确率降至90%以下。

论文指出,只有翻硬币问题能以某种迹象展示出CoT的综合能力;论文同时也指出翻硬币问题非常简单,不需要太多的推理能力。

字母拼接问题及实验结果

字母拼接问题,是提供给LLM一组英文单词,让LLM将每个单词的特定位置的字母拼接在一起,例如:对于"Craig Alice",将每个单词的最后一个字母拼接在一起(答案是"ge")。

实验时所采用的LLM是GPT-4-Turbo。实验的主要结果是:当英文单词的数量增多时,采用CoT的回答正确率急剧下降,这意味着CoT传授给LLM的知识不能被延用到同类的、但是更大的问题中,所传授的知识不具有通用性。

多步算术问题及实验结果

多步算术问题,是让LLM简化算术表达式,例如:简化"3 / (9 - (5 + (1)))"(答案是"1")。

实验时所采用的LLM是GPT-4-Turbo。实验的主要结果是:当算术表达式的长度增加、计算所需的步骤增多时,采用CoT的计算正确率快速下降,意味着CoT所传授的知识不能被延用到同类的、但是更大的问题中,所传授的知识不具有通用性。

结论

基于上述多个实验的结果,论文提出了以下的观点:

  • CoT不像宣传的那样,能让LLM学到通用的、解决新问题的能力,只能让LLM通过某种方式的模式匹配来达到有关能力的提升;
  • 非常贴切、具体的CoT提示语只可能在足够窄的问题领域中起到作用。

参考文献

1\] [https://arxiv.org/abs/2405.04776](https://arxiv.org/abs/2405.04776 "https://arxiv.org/abs/2405.04776") 封面图:Suzy Hazelwood、Pexels

相关推荐
新知图书1 分钟前
OpenCV界面编程
人工智能·opencv·计算机视觉
小杨4043 分钟前
python入门系列十五(asyncio)
人工智能·python·pycharm
hanniuniu134 分钟前
技术驱动革新,强力巨彩LED软模组助力创意显示
人工智能
xcLeigh5 分钟前
计算机视觉图像处理基础系列:滤波、边缘检测与形态学操作
图像处理·人工智能·计算机视觉·ai
程序猿阿伟11 分钟前
《打破SQL与AI框架对接壁垒,解锁融合新路径》
数据库·人工智能·sql
Helios@12 分钟前
CNN 中感受野/权值共享是什么意思?
人工智能·深度学习·计算机视觉
冰蓝蓝34 分钟前
TensorBoard
人工智能·深度学习
搞程序的心海39 分钟前
神经网络入门:生动解读机器学习的“神经元”
人工智能·神经网络·机器学习
AI浩40 分钟前
OverLoCK:一种采用“先总体把握再初步审视继而深入观察”架构的卷积神经网络(ConvNet),融合了上下文信息的动态卷积核
人工智能·神经网络·cnn
weixin_457885821 小时前
虎跃办公AI赋能的实时协同开发范式与神经符号系统突破
人工智能·搜索引擎·ai·deepseek