论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显

相关推荐
老金带你玩AI6 分钟前
Gemini 4上线!又回到御三家了?
人工智能
独立开发者阿乐7 分钟前
问答聚合页设计:让 AI 直接引用你的答案
人工智能·结构化数据·geo优化·ai收录·悬赏问答·问答聚合页
深圳市益普科技有限公司10 分钟前
半导体封测的 “大脑“ 保卫战:国产 MES 是怎么一步步啃下来的?
人工智能
康实训12 分钟前
高校中医康复实训室功能分区规划方案
人工智能·实训室·实训室建设
for_ever_love__13 分钟前
LangChain 降级、重试与超时:让服务在模型抽风时还能用
python·自然语言处理·langchain·agent·超时·重试·with_retry
桃西西呀15 分钟前
LangGraph4j之四:运行引擎与流式
人工智能·llm·ai编程
桃西西呀16 分钟前
LangGraph4j之五:持久化与断点续跑
人工智能·llm·ai编程
一木 之林18 分钟前
微信小程序开发全攻略·文章版|00 总览:74集学习路径与知识地图
人工智能·学习·计算机视觉·微信小程序·小程序
深圳市益普科技有限公司20 分钟前
中小封装厂上 MES,为什么十个项目九个坑?
大数据·数据库·人工智能
努力写A题的小菜鸡26 分钟前
OpenCV cv2.threshold 图像阈值处理详
人工智能·计算机视觉