论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显

相关推荐
IT古董34 分钟前
【机器学习】机器学习的基本分类-强化学习-Q-Learning
人工智能·机器学习·分类
FBI78098045941 小时前
利用API接口优化电商平台的用户体验
大数据·服务器·网络·数据库·人工智能·python
小楼先森1 小时前
【数据集】医学常见9种皮肤疾病检测数据集11294张YOLO+VOC格式(已增强)
人工智能·深度学习·yolo
dundunmm2 小时前
机器学习之拟合
人工智能·深度学习·算法·机器学习·数据挖掘
坐吃山猪2 小时前
机器学习04-为什么Relu函数
人工智能·深度学习·机器学习
捂一捂啊啊2 小时前
深度学习中,用损失的均值或者总和反向传播的区别
人工智能·深度学习·均值算法
敲代码不忘补水2 小时前
PyTorch 神经网络回归(Regression)任务:关系拟合与优化过程
人工智能·pytorch·python·科技·深度学习·神经网络
第七在线(7thonline)2 小时前
AI智能决策赋能服装零售 实现精准商品计划与供需平衡
人工智能·零售
树莓集团2 小时前
什么是数字化转型?对企业发展的帮助有哪些?
大数据·人工智能·云计算·新媒体运营·媒体
清弦墨客3 小时前
点亮技术写作之路:CSDN文章创作秘籍分享
人工智能