论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显

相关推荐
聚客AI14 分钟前
大模型学习进阶路线图:从Prompt到预训练的四阶段全景解析
人工智能·llm·掘金·日新计划
晓131318 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
DeepSeek大模型官方教程1 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer2 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun3 小时前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能